实时数据中心解决方案 系统数据 手工数据 外部数据 非结构化数据 系统间数据传输 组织间数据传输 内外部数据传输 系统间数据整合 异构系统数据整合 实时数据整合 结构与非结构数据整合 接口数据层 整合数据层 汇总数据层面 准实时数据层 数据共享 数据分析 数据智能 数据服务 实时数据中心的背景与理解 企业实时数据中心——企业将数据视为资产，使其在企业整个组织内便利和有效的流通来，从企业自身数据中充分挖掘价值潜力，最终形成贯穿企业组织间、业务间、产业链伙伴间的完成数据生态系统。 实时数据中心-总体目标 企业实时 数据中心 定标准 建体系 搭平台 立应用 实现企业自上而下的数据管理规范与标准的顶层设计 跨业务、跨组织、跨领域统一标准与规范 建设企业经营监管的决策与管控分析体系、多层级、多角色、多领域 实现由“数据驱动”的企业经营与管控目标 建设企业级的数据管理平台，实现“实时数据中心”的数据生产、数据传输、数据采集、数据整合、数据存储全过程，为数据应用奠定平台基础 实现知识共享、监控预警、运营评价、决策分析、数据智能、数据服务等多种数据应用方式，满足“用户至上”的企业要求 技术 业务 管理 数据驱动 数据管理规模：GB-〉TB、PB 数据管理类型：行存储、列存储 ------------------------------------- 数据服务：DaaS 数据挖掘：OLAP、DM、机器学习、R、Spark ------------------------------------- 数据集成：ETL\ELT、实时、MDM 数据采集：ERP、CRM、在线、移动 商业模式创新 -------------------- 营销策划 流程绩效优化 ------------------ 分析决策 指标监控 思想、思维、文化 -------------------- 数据架构 数据标准 数据质量 数据服务 实时数据中心-数据驱动 数据驱动会对管理、业务、技术三方面影响 实时数据中心-整体架构图 财务 人力 供应链 资金 成本 预算 售楼 商务 其他 业务系统 音频 视频 SNS 网站 文本 微信 微博 欧亿·体育（中国）有限公司 其他 非结构化半结构化 UDH （低价值密度数据） 半结构化数据 非结构化数据 结构化数据 HIVE PIG MapReduce HDFS 流处理技术 列存储 粗粒度索引 压缩技术 SQL优化 动态扩展 资源管理 大表关联 并行数据加载 ODS DW 元数据管理 主数据管理 数据质量 数据安全 ODS ODS DM DM DM ETL ETL ETL CDC ETL MQ 存储 数据模型 算法管理 数据挖掘 多维模型 建模 …… 数据仓库 统一数据服务 统一数据应用 数据接口 数据共享 业务报表 分析指标 预警 考核指标 业务问题 流程优化 数据产品 数据服务 管理报表 统一访问 PC PAD 移动 APP MPP数据库 （高价值密度结构化数据） 欧亿·体育（中国）有限公司对标 宏观经济 实时数据中心 数据探查 数据模型 数据集成 数据存储 数据应用 主数据规范 元数据规范 数据集成规范 数据安全规范 数据仓库构建过程 1 2 3 4 5 数据质量规范 关键 步骤 数据治理 0 DW 九个统一标准 ODS 自动 手工 填报 业务系统 数据源 … … … … DW DM 指标库 接口 AI-DI/CDC ETL 数据服务 数据仓库 数据服务 数据采集 数据质量 元数据 数据安全 数据生命周期 ETL ETL ETL ETL 分析报表 绩效评价 经营监控 问题发现 数据服务 商机挖掘 数据封装 应用 1 2 3 4 5 6 7 8 9 实时数据中心-数据治理 数据治理中的标准贯穿整个数据仓库构建过程，是项目成功的有效保障，内容包含但不限于如下： 数据标准与规范定义 数据标准规范是对企业客户管理所涉及的各项数据的定义与解释，以及数据质量及安全性要求的统一定义，主要内容包含数据在业务层面的定义和在技术层面的定义。 数据在业务层面的定义可称为业务标准，主要包括信息大类、信息小类、英文名称、中文名称、业务含义、数据管理部门和重要程度等内容 数据的技术标准，从技术层面描述数据项的定义。数据的技术标准包括：数据类型、数据格式、有效值域、是否可空、缺省值等内容 根据企业的业务数据特点，对来源于各个系统中的数据实体进行统一代码定义，包括定义代码编号、中文名称、英文名称、业务含义、编码规则、字段规则等内容，实现各个系统间数据的一致性 实时数据中心-数据治理 实时数据中心-数据治理 唯一性：数据定义的唯一性 一致性：同一信息项数据在系统内或不同系统间保持一致、口径的一致性。 准确性：数据正确的体现真实情况，数据符合具体业务规则 关联性：数据项取值满足与其他数据项之间的依赖关系。 完整性：对一项业务数据的完整性进行缺失考察、所必须的数据项及数据项的必须属性均被记录 有效性：数据符合已定义的格式规范、有效的数据格式或数值 正确性：ETL过程正确性/加工过程正确性/数据整合正确性/模型正确性/展现正确性 可用性：主要体现在使用的效率上 时效性：能够按照业务需求集市产生所需的数据 充足性：在保证数据正确性基础上对主要业务专题提供足够的数据进行高精度的分析 数据质量原则与流程