山东大学 29 岁 求职意向： 山东省淄博市 教育背景 2013.09-2016.06 山东大学 软件工程 硕士 本科 主修课程：面向对象理论 高级算法 离散数学 软件工程 数据库系统原理 2009.09-2013.06 山东大学 电子信息 主修课程：数字电路 高频电路 计算机网络 C语言程序设计 数据结构 信号与系统等 自学：Hadoop Hbase Hive Phoenix Flume Spark Mahout Nutch 项目经验 2018.04-2018.12 中国海关进出口统计系统 项目经理 ? 研发类项目，独自设计方案，决策该系统技术选型。 解决中国海关查询进出口数据时，传统关系型数据库表空间不足，以及级联查询 引起的查询速度慢，查询超时，数据库占用内存大等问题。将查询速度由分钟级 提升到毫秒级，且结果无误。 ? ? 将海关进出口业务系统基础数据通过ETL工具抽取到Hadoop+Hbase大数据集 群中，并以大数据集群为数据仓库，中间件选择Phoenix作为Hbase数据映射层。 逻辑层采用JDBC连接Phoenix，实现查询统计功能，并通过VUE框架做前端展示。 技术手段：Hadoop+Hbase+Zookeeper+Phoenix+EOS+Kettle+JDBC+VUE 2018.11- 至今 东风日产数据治理平台项目 主要负责人 ? ? 研发类项目，独自设计并实现Tableau元数据适配器，独自设计解析算法并实现。 解决东风日产IT部门报表系统与业务系统数据之间数据孤岛现象。通过该模块设计，可 提供给东风日产可视化系统查看报表与数据仓库的依赖关系。 ? ? 解析Tableau报表工具导出的XML文件，扩展Metacube(公司产品)提供的元数据采集 接口，获取文件中的报表、工作表、看板、指标、维度等元素，通过Jsqlparser解析 器解析报表内置预处理使用的SQL语句，获取真实物理字段，并建立依赖关系。 技术手段：Metacube+Oracle+Linux Shell+Quartz+Tomcat 2014.05-2015.9 浪潮集团商用大数据分析系统 研发工程师 ? ? 研发类项目，参与研发基于大数据架构的地税搜索引擎。 使用大数据集群Hadoop、Hbase作为数据存储层，爬虫引擎Nutch作为大数据上层应用， Lucence集成Hbase，Lucence上层应用solr作为数据查询层，最终通过前端框架NUI调用 Solr后台获取大数据集群中采集到的地税信息。 ? 技术手段：Hadoop+Hbase+Nutch+Lucence+Solr+NUI 2016.07-2017.02 重庆农商行元数据管理系统 项目经理 ? ? ? 解决银行系统架构中，数据中心ODS层-下游业务系统-报表系统之间数据混乱问题，梳 理系统之间数据流向关系，明确数据来龙去脉，便于技术人员与业务人员追溯问题和预知 问题影响。 理清各个系统之间数据抽取过程，设计ETL解析适配器；实现元数据核心功能：影响分 析、血缘分析、全链分析；设计环路循环算法，优化链路分析结果；对接银行邮件服务 器，短信平台；对接银行统一认证系统；对接ETL工具Datastage。 技术手段：Metacube+Tomcat+Linux Shell+WEB拦截器+Datastage 2017.07-2017.11 苏州工业园服务化平台 架构师 ? 设计各个局办海量日志数据处理模块，Flume作为ETL工具，抽取园区不同业务基础库数 据到消息队列，通过MQ方式缓存，技术选型Kafka。Kafka分发到Elasticsearch和 Storm集群，解决关系型数据库数据量大场景下不满足高吞吐性。 技术手段：K