工业互联网大数据平台建设方案 为什么有工业4.0？ 工业4.0、中国制造2025 工信部长苗圩在讲到德国工业4.0与中国制造2025时，曾这样概括：如出一辙、异曲同工、殊途同归。因此，两者表述不同，但内涵基本一致 什么是大数据？ 工业大数据分析及应用的三个阶段 大数据特征：量（Volume）、速度（Velocity）、多样性（Variety）、真实性（Veracity） 工业大数据特征：大数据特征＋可见性（Visibility）、价值（Value） 互联网大数据与工业大数据的对比分析 工业大数据待解决问题（3B）： 隐匿性（Below Surface）；碎片化（Broken）；低质性（Bad Quality） 工业大数据应用 工业大数据的核心是机器数据 机器大数据的特点 工业互联网和大数据的关系 + = 企业发展动力 工业互联网与大数据的作用 工业互联网与大数据的特点 大数据对企业的应用价值体现 挖掘工业大数据价值的核心技术——CPS 分析手段 工艺、效率和产能 数据和知识建模 智能设备 平台基础 测量 材料 设备维护 6M 6C CPS定义: 从实体空间的对象、环境、活动中进行大数据的采集、储存、建模、分析、挖掘、评估、预测、优化、协同，并与对象的设计、测试和运行性能表征相结合，产生与实体空间深度融合、实时交互、互相耦合、互相更新的网络空间；进而，通过自感知、自记忆、自认知、自决策、自重构和智能支持促进工业资产的全面智能化. 工业大数据云平台实现路径 大数据处理的需求和特点 工业大数据云平台建设终极目标 IaaS：提供基本的计算、网络和存储资源。 PaaS：中间层，提供对欧亿·体育（中国）有限公司业务应用的支持。 SaaS：向用户交付最终业务应用和数据分析。 PaaS环境层：为业务应用提供支撑的软件组件、包括各种中间件和数据库等。以Hadoop为代表的大数据处理。 PaaS业务层：包含了应用的后台程序，数据处理算法以及业务数据等实现业务能力的元素。 PaaS服务层：将业务层的业务、算法和数据以接口的形式提供给上层的前端应用直接访问。 云平台总体架构 — 22 — 云平台总体架构介绍 工业大数据平台--数据业务逻辑 准实时采集 批量采集 Hadoop平台 MPP，基于X86平台 主数据仓库 分布式数据库 基于X86平台 数据采集（云化ETL，流数据处理、爬虫） 数据层 获取层 能力层 精细化营销 智能运营 物联网应用 应用商店 客服应用 基础分析能力 数据挖掘能力 实时分析能力 自助分析能力 多维分析能力 数据共享能力 指标应用 报表应用 主题分析 专题分析 互联网 GN口 半结构化、非结构化数据 BSS 经分 DM VAC MC话单 业务平台 结构化数据 数据源 分布式文件系统 HDFS 记录明细数据 HBase M/R Hive 记录汇总数据 数据统一服务和开放SQL、FTP、WS、MDX、API、…… 分布式数据库（MPP）： 存储加工、关联、汇总后的业务数据，并提供分布式计算，支撑数据深度分析和数据挖掘能力，向主数据仓库输出KPI和高度汇总数据。 主数据仓库（与MPP合设）： 存储指标数据、KPI数据和高度汇总数据。 Hadoop云平台： 负责存储海量的流量话单数据，提供并行的计算和非结构化数据的处理能力，实现低成本的存储和低时延、高并发的查询能力。 数据开放接口： 向大数据应用方提供大数据平台的能力。 数据采集（ETL）： 负责源数据的采集、清洗、转换和加载包括： 1、把原始数据加载到Hadoop平台。 2、把加工后的数据加载分布式数据库和主数据仓库 应用层 大数据平台目标架构及定位 数据分级存储原则 数据融合与分级存储实施 按数据血缘 按逻辑层次 按业务种类 按设备网络划分 按设备物理地址 在线、近线、离线 按访问频度 内存数据库 按响应 及时性 内存数据库 数据生命周期中在线数据对高性能存储的需求，以及随着数据生命周期的变更，逐渐向一般性能存储的迁移，是分级存储管理的一条主线。同时兼顾考虑其他分级原则，共同作用影响数据迁移机制。 基于生命周期 基于访问压力 基于业务用途 基于物理属性 分级原则 高性能 磁盘库 磁带 光盘库 中低性能 磁盘库 将核心模型（即中度汇总的模型）通过改造融入到现有主数据仓库的核心模型中，减少数据冗余，提升数据质量。 将主数据仓库中的历史数据和清单数据迁移到低成本分布式数据库，减轻主数据仓库的计算与存储压力并支撑深度数据分析。 数据 数据 数据 1、核心模型融入主数据仓库 主数据仓库 2、历史数据迁移到分布式数据库 分布式数据库 大数据平台： 数据分级存储 工业大数据平台--技术架构 源数据导入ETL，进行数据的清洗、转换和入库。 基础数据加载到主数据仓库，规划保存3年 清洗、转换后的ODS加载到分布式数据库规划保存1+1月，在分布式数据库内完成明细数据和轻度汇总数据加工生成，规划保存2年 ODS数据和非结构化数据，如爬到的网页数据ftp到Hadoop平台做长久保存 非结化数据分析处理在Hadoop平台完成，产生的结果加载到分布式数据库 生成KPI和高度汇总数据加载到主数据仓库。 Hadoop平台 主数据仓库 报表数据 标签库 客户统一视图 …… 信息子层 话单数据 非结构化数据 明细数据层 （DW） 轻度汇总层（MK） 高度汇总层（MK） 应用库 分布式数据库MPP 数据访问 SQL FTP HSQL API ETL 数据采集E T L 互联网 GN口 非结构化数据 BSS 经分 DM VAC MC话单 业务平台 结构化数据 数据源 获取层 1 2 3 4 6 5 业务应用通过数据访问接口获取所需求数据。 7 精细化营销 其他应用1 其他应用2 指标数据 大数据平台： 数据处理流程