大数据开发工程师
个人信息
姓名： 性别：男
年龄： 电话：
现住城市： 工作经验：
邮箱: 就职状态：
工作经验
公司名称：北京新浪仓石基金有限公司 部门：智能云平台运维部 职位名称：大数据开发工程师 在职时间：2017.11-2019.10 汇报上级：技术总监
工作职责：1. 数据处理（ETL）、运维数据模型设计优化，数据库数据维护等工作；
根据业务需求，负责离线和实时的大数据平台业务逻辑处理；
学习大数据前沿新技术，设计性能优化方案，编写技术文档，并将新技术应用到实际工作中；
离职原因：个人原因
公司名称：北京新浪仓石基金有限公司 部门：数据支持部 职位名称：大数据开发工程师 在职时间：2017.11-2019.10 汇报上级：部门经理
工作职责：1. 数据仓库建立、数据处理（ETL）、模型设计优化，数据库数据维护等工作；
2. 根据业务需求，负责离线大数据平台开发；
3. 对产品方向、销售策略、运营决策提供数据支持；
公司名称：北京丽兹行房地产投资顾问有限公司 部门：数据开发部 职位名称：大数据开发工程师 在职时间：2016.8-2017.10 汇报上级：部门经理
工作职责：1. 可以进行数据库的搭建，数据处理，ETL；
根据业务需求，参与项目调研，分析需求和开发指标；
使用MapReduce，Hive，Spark SQL根据业务来进行离线数据分析；
离职原因：个人原因
专业技能：
1.熟悉数据仓库模型理论、经验，使用Hive进行场景业务开发，掌握Hive调优工作；
2.熟练使用SQL并具备一定的SQL性能调优能力，进行相应业务处理；
3.熟悉Hadoop、Spark、Flink、Splunk、ELK架构常用组件，进行数据平台的搭建和数据分析；
4.掌握使用MapReduce、SparkCore、SparkSQL、Spark-Streaming、FlinkTable、FlinkSql并进行离线与实时的业务数据分析，处理spark调优工作，了解Flink原理特性、阿里云平台Blink；
5.熟悉Clickhouse、MySQL、HBase、Redis、MongoDB、OpenTSDB数据库，通过离线或实时处理过后的数据进行存储；
6.掌握Hdfs、Yarn、Logstash/Hangout/Flume/Sqoop/Datax、Kafka、Zookeeper、Azkaban等常用组件的使用和原理；
7.了解Grafana、FineBI等BI可视化工具，运维监控组件Prometheus；
8.熟悉Linux开发环境，使用Java、Scala编程语言进行项目和业务开发，了解Python语言；
9.了解数据挖掘中KNN、线性回归、朴素贝叶斯、决策树等部分算法，良好的数学基础和逻辑概念；
10.阅读过Hadoop、Spark部分源码，数据仓库等维度建模书籍，良好的阅读习惯，对新技术，新事物有很好的探索和求知欲；
项目经验
项目名称： CMDB实时服务平台开发
项目架构：ka