个人简历
姓 名： 性 别：男
年 龄： 学 历：统招本科
籍 贯： 毕业院校：
联系电话： 邮 箱：
工作年限：
目标职位:大数据开发工程师(Hadoop、Spark方向) 工作性质:全职
目标地点:北京 状 态:离职
2016.07-2019.05 xxx软件有限公司 大数据开发工程师
一、数据分析框架
1、Hadoop
熟悉Hadoop的部署安装及其运行原理，会编写mapreduce程序及调优
熟悉HDFS、YARN及MapReduce的工作原理，有相关开发经验。
2、Spark
能够搭建Spark的高可用集群，熟悉使用Sparkcore，Sparksql，Sparkstreaming
能够根据实际业务情况对Spark作业进行调优
熟悉SparkMLlib协同过滤算法。
二、数据传输工具1、Flume：会使用Flume收集数据，能够独立完成其集群的部署2、Kafka：熟悉kafka的使用及工作机制，能够独立完成其集群的部署3、Sqoop：能够使用Sqoop工具，实现非关系型数据库与非关系型数据库表数据交互。
三、数据管理技术
1、hive：会编写hql语句进欧亿·体育（中国）有限公司务处理，udf自定义函数编写,以及Hive的优化
2、Hbase：理解Hbase的存储原理，可以进行基础的操作
3、Mysql：熟悉Mysql数据库，掌握基本的sql优化。
4、Redis：了解Redis的基本使用
四、语言
熟悉Linux常用命令，了解Shell脚本
扎实的JAVA基础知识，了解JVM虚拟机内存模型、垃圾回收机制及基本JVM调优
熟悉Scala开发语言，熟练使用Scala进行Spark业务开发。
其他
熟悉Zookeeper原理及选举机制
熟悉Tomcat服务器，Nginx，Eclipse，IDEA等开发工具
熟悉Maven构建项目
熟悉JavaEE主流的开发框架Spinrg,SpringMVC,Mybatis
了解机器学习算法，聚类，回归，决策树的优缺点
了解ElasticSearch、Solr搜索服务器。
【项目一】：美剧天堂推荐系统
项目介绍：2018.07-2019.04
该项目主要是用户访问电影网站及观看电影后对电影的评价等产生的日志记录，针对不同的用户进行个性化推荐,包含了离线推荐与实时推荐体系，综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。
项目架构：Nginx+Tomcat+Flume+Kafka+Hadoop+Hive+Spark+Mysql+Redis+ES
责任描述:
1、采集数据,数据清洗；
2、使用Spark Core,Spark SQL离线指标统计分析:如电影的平均得分统计、每个类别优质电影统计、最热们电影统计、优质电影统计等；
3、利用Spark MLlib中的协同过滤ALS算法计算用户电影推荐矩阵、电影相似度矩阵；
4、使用SparkStreaming实时分析用户对电影的评分,对用户这次评分后进行实时推荐。
技术描述：
1、Flume监控日志数据传输给Kafka；
2、Hadoop和ES分别从Kafka中拉取数据并进行实时的清洗入库；
3、利用SparkSql从Hadoop中拉取数据进行离线数据分析计算；
4、利用Spark Streaming从Kafka中拉取数据实时计算；
5、使用Spark MLlib的ALS推荐算法分析给用户推荐离线视频；
6