大数据开发工程 3年
姓　 名： 性 别：　男
年 龄： 籍 贯：
学 历： 本科 工作经验： 3年
现居住地： 北京 专 业： 计算机科学与技术
联系电话： 电子邮件：
工作性质：全职 目标地点：北京
目标职能：大数据开发工程师 目标薪资：面议
– 2019.5 北京xxx软件有限公司
大数据体系：
熟练Hadoop的部署安装以及运行原理，会编写MapReduce程序；
熟练使用Spark核心编程(spark架构原理以及对RDD持久化操作)；
熟悉Zookeeper原理，熟练使用Zookeeper Shell命令与Java Api，熟练搭建Zookeeper集群；
熟练使用Flume日志系统搭建多级流动日志框架；
熟练Kafka的安装与使用，了解Kafka的topic消息处理模式和消息分区备份机制；
熟练使用Hive开发工具，掌握Hive内部表，外部表，分桶表，UDF用户自定义函数的使用；
熟练使用HBase非关系型数据库及其内部原理;
了解Flink流式计算框架;
其他技能：
熟练使用JAVA,具备良好的面向对象的编程思想,有扎实良好的编程习惯及代码规范;
熟练使用Scala多范式编程语言;
熟练使用常用的Linux命令，熟悉Linux下的编程;
熟练使用Eclipse/IDEA 等编程工具；
熟练使用JavaEE主流的开发框架Spring，SpringMVC，MyBatis；
掌握Echarts，Tableau等可视化工具。
项目一： 高铁大数据智能监测平台
项目名称：高铁大数据智能监测平台
软件架构：Zero MQ、Kafka、Hadoop、Spark、Zookeeper、HDFS、Hive、Redis、Tableau
项目描述：该项目是为中国高铁开发的高铁智能监测平台，随着我国的高铁发展，高铁的事故也在随之增多，因此高铁设备的维修以及更换成了亟需解决的问题。此系统有效的解决了定期维修,定期更换不能解决的问题。其中包含的模块Atp模块,应答器模块,信号器模块,列控中心模块等，主要为了监控设备是否需要更换以及是否需要检修。为国家节省了大量经济支出,保障了人民生命财产安全。
技术描述：
使用Hadoop作为大数据平台基础架构。
使用Zero MQ中的数据，推送到Kafka上。
使用SparkStreaming直连Kafka对数据进行实时分析。
使用HDFS存储Zero MQ中的海量数据。
使用Spark对采集的数据进行ETL操作和存储入库。
使用Spark SQL、ScalikeJDBC对数据进行分析。
7、 使用Tableau对结果进行展示
职责描述：
1. 数据采集:采集Zero MQ中的数据,进行protobuf的解析,推送到Kafka,上传到HDFS或者使用SparkStreaming实时处理。
2. 数据清洗:按照公司规则进行数据清洗,符合业务逻辑的数据以parquet形式存到HDFS,不符合业务逻辑的数据存到脏库,方便以后进行追溯。
3. 实时报表:SparkStreaming直连Kafka,手动维护偏移量,实时分析报表如:Atp实时报警次数,各铁路局报警次数报表,一小时内的报警等。
4. 离线统计:使Sparkcore,Sparksql,如:连接第三方库,获取天气信息,做设备磨损统计等。
5. 用户画像模块:使用Sparkcore,Sparksql,ScalikeJDBC对每一列车画像,统计