京东大数据技术白皮书 京东大数据平台部出品 顾问： 张晨 裴健 翁志 主要作者（排名不分先后）： 赵国梁、刘荣明、李冬峰、冯玉敏、滕永铮、王哲涵 王永亮、王文生、李双义、刘业辉、白贤锋、王威 焦文健、张晓鑫、赵鹏、纪鸿焘、乔超、吴怡然 欢迎关注京东大数据微信公众号及京东技术公众号 京东大数据技术白皮书 目 录 序言 ...................3 前言 ...................5 1 2 京东大数据的发展历程 ........... 8 京东大数据的技术体系 ..........10 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 数据采集和预处理...............10 流量数据采集 ...............13 数据存储体系 ...............22 离线计算环境 ...............34 实时计算环境 ...............37 机器学习环境 ...............40 任务管理和调度............43 资源监控和运维............49 3 京东大数据的数据管理 ..........54 3.1 3.2 3.3 3.4 3.5 数据架构设计 ...............55 数据资产管理 ...............57 统一指标体系 ...............65 数据安全管理 ...............66 数据服务管理 ...............68 4 京