XX
27岁 | 男 | 统招本科 | 4年经验 | CET4、CET6
手机：
邮箱：
个人优势：
做过多个项目，能对新项目快速上手
热爱技术，工作认真、严谨，具备较强的学习能力和责任心。抗压能力强，能自我激励，善于沟通与团队协作
具备扎实的 Java 相关知识，熟练使用 Java 和 Scala 语言编程
掌握 Spark 及其组件 SparkCore、Spark SQL、SparkStreaming 的使用
掌握 Hadoop 的分布式文件系统及其组件 HDFS、MapReduce、Yarn 的使用。熟悉 Hadoop 集群的搭建
掌握 Kafka 原理，能够和 Spark、Flink 整合实现流式数据的处理和分析
掌握 Hbase、Redis 等 NoSQL 数据库
掌握 Hive 的工作原理，数据仓库的建立，以及使用 HQL 完成对数据主题抽取、多维分析、调优
掌握 Linux 操作系统，可以编写 shell 脚本
掌握 MySQL 数据库的使用及调优
熟悉 Kettle、Sqoop、Impala、Azkaban 等大数据辅助工具的使用
熟悉 Flink 的基本原理，能够使用 Flink 对数据进行实时处理
了解机器学习算法库 SparkMLlib 以及机器学习的相关算法
了解 Python 基础和 Python 的基本使用
期望职位：
全职 大数据开发工程师 北京 薪资面议
工作经历：
单位名称：
职位名称：大数据开发工程师
工作时间：2017年11月---2019年10月
工作描述：主要从事大数据开发工作，包括离线统计、实时计算
单位名称：
职位名称：大数据开发工程师
工作时间：2015年10月---2017年10月
工作描述：主要从事大数据开发工作，包括离线统计、实时计算
项目经历
项目一：在线教育用户画像平台
项目架构 : SpringBoot + Vue + Flume + Hadoop + Hive + Spark + Hbase + Phoenix + Azkaban
项目描述 :
随着互联网服务业务的蓬勃发展，教育信息化也越来越受到人们的重视。学习者面对庞大复杂的线上教育资源无从下手。该项目主要是针对用户访问在线教育网站时，通过点击的内容类别、购买的内容类别、在某一页面的停留时长，以及听课后对课程（老师）的评价等角度构建用户画像模型。基于大数据平台采集分析，分别从用户类别、订购内容、行为特征及业务场景等多方面进行数据标签配置，实现模型与应用场景数据共享，采用千人千面等方法进行 UI 数据可视化展现，实现精细化运营及精确营销服务。
责任描述 :
参与项目的前期架构设计与分析
将 Hive 中的数据导入到 Hbase 中，实现解耦合
通过查询 MySQL 中的数据源信息，进一步获取 Hbase 中数据，再根据标签规则使用 Spark 完成部分匹配型标签的开发，如性别、民族、籍贯、政治面貌、职业、教育程度、就业状况等
完成如购课次数、听课频率、购课频率、消费频率、消费周期等部分统计型标签的开发
使用 SparkMLlib 根据业务规则完成部分挖掘型标签的开发。如 RFM 模型、RFE 模型和 PSM 模型，通过 KMenas 算法完成不同用户的消费能力，活跃度以及价格敏感的画像
项目二：在线教育离线 + 实时数仓项目
软件架构：Nginx + Flume + Hadoop + Kafka + Spark + Flink + Hbase + Redis + Superset + Azkaban
项目描述：
教育一直与数据密切相关，通过对遍布教、学、研多层面的数据进行整合与大数据技术的有效利用，可以从根本上给教育带来全方位的提升。这就需要一种能够将日常业务处理中所收集到的各种数据转变为具有商业价值信息的技术，而传统的数据