文本描述
求职意向
目标职位:大数据开发工程师
工作经历
2017.3 – 2019.9
公司:xxx 大数据软件开发工程师
曾参与项目:游戏运营指标分析项目、游戏App用户行为分析系统、玩家数据化解决方案
2016.6 -- 2017.3公司:xxx 大数据软件开发工程师曾参与项目:杭州市交通运营管理系统、高速公路收费管理系统、8684App商城数据管理平台项目
技能专长
熟练掌握Spark Streaming,Flink流式计算框架,完成分布式数据计算
熟练掌握Flink CEP复杂事件处理
熟练掌握Kafka消息队列
熟练掌握kylin,druid等OALP分析引擎
熟练掌握Hadoop生态圈、Hadoop2.x框架以及能够依赖zookeeper搭建维护高可用集群环境(HDFS+Yarn)
熟练掌握HDFS、HBase分布式存储文件、数据,了解HDFS的文件存储原理及优化HDFS
熟练掌握HBbase,Redis等nosql数据库
熟练掌握离线数仓工具Hive等,能够使用Hive SQL、Spark SQL处理计算离线数据
熟练掌握kettle离线ETL工具完成数据的ETL工作
熟练掌握MySql等关系型数据库
熟悉Flume、Sqoop、DataX等数据同步导入导出框架
熟悉oozie、azkaban等任务调度框架,能够使用shell脚本完成简单任务的调度
能够熟练使用java、scala等语言完成程序开发
了解ElasticSearch分布式全文搜索引擎
了解Impala,Hue等大数据框架
项目简介
项目名称:游戏玩家行为数据化解决方案
项目架构:Yarn+Hdfs+Spark+SparkMLlib+Hbase+Oozie+Mysql
项目描述:
游戏存在玩家的分层对不同的玩家有不同的喜好,以及一定的消费能力,根据不同的玩家属性将玩家进行分 层,对玩家进行标签化,对不同的玩家推荐不同的游戏礼包和玩法推荐,保证玩家打的活性,本推荐系统解决方案主要针对以下方面:
1.玩家精准营销, 按照游戏角色或者性别筛玩家群,如对男性玩家推荐装备已经快速提升战力的玩法, 对女性玩家推荐服装皮肤系统,已经社交玩法等
2.玩家数据化运营, 按照消费能力筛选玩家群,对不同的玩家进行消费能力的分组,如对零氪玩家进 行,小额游戏福利礼包引导消费,对学生玩家推荐提升战力的中下等级礼包,对土豪玩家推荐快速提 升战力打的高端礼包等
3.推荐系统, 得到每一个用户的标签化表示,对每个用户标签化,比如二次元玩家主要推荐二次元皮 肤,对普通玩家主推时尚皮肤等
玩家推荐系统是一个推荐统一解决方案,可以初始化不同的标签库,完成不同业务的标签库管理和用户数据标签化。
项目职责:
1.负责编写Oozie的调度任务,提供前端访问Oozie的接口
2.负责从Mysql中提取规则标签,完成从Hbase中提取原始数据
3.负责完成匹配型标签的开发如性别标签,职业标签,地域标签等的开发
4.负责完成统计类标签的开发如,年龄段标签,支付方式标签,消费周期标签等的开发
5.使用客户价值模型-RFM,结合SparkMLlib中的归一化和K-means算法进行客户价值标签的定义与落 地
6.使用用户活跃度模型-RFE,结合SparkMLlib进行用户活跃度标签的定义与落地
7.使用价格敏感度模型-PSM,结合SparkMLlib进行价格敏感度标签的定义与落地
项目名称:《全民主公H5》游戏实时状态控制系统
项目架构:Flume+Canal+Kafka+Flink+Flink CEP+Hbase+Redis+Druid+Hdfs
项目描述:
游戏玩家的各种行为会产生大量的数据,这些数据可以帮助游戏商了