市大数据管理中心大数据资源平台概要设计方案 背景与需求分析 总体架构设计 平台功能设计 平台数据综合应用 2 1 3 4 项目实施方案 5 大数据管理中心发展背景 为建设卓越全球城市，实现政府治理能力现代化目标，由市大数据中心牵头，在政务公共数据管理和互联网政务服务方面采取了一系列的实践工作。根据《市公共数据和一网通办管理办法》要求，前期已在“一网通办”的政务服务领域进行了信息化项目建设，在提升了政府治理能力和公共服务水平的同时，也产生了汇聚全市政务公共数据，探索政务服务领域应用的需求。 市大数据中心作为全市政务数据的主要管理单位，承担着政策本地化落实、政务数据交换、大数据应用研究、信息化建设运维以及其他数据相关的工作职责，从中心成立之初便开始研究政务数据管理和应用的方法，去年年底探索了以政务数据交换共享为核心的实践，但随着对中心职能的理解加深，我们认为中心不仅作为全市政务数据的“枢纽中转中心”，更应该成为各政务服务条线领域的“归集管理中心”，为本市的经济活动、公共事业、社会关系、人员密度等各城市管理领域提供数据层面的最大支撑。 规划公共数据发展路线 支撑城市服务能效提升 精准城市服务 整体共享协同 数据科学管理 公共数据共享 社会数据协同 条线业务协同 数据服务开放 社会治理 宏观经济 市场监管 生态保护 城市高效运行 应急事件响应 事件风险预防 数据完整归集 数据实时同步 资源目录健全 数据全面治理 大数据共享交换平台建设与使用情况 大数据中心自去年开始，根据整体规划启动了市数据共享交换平台项目的建设，并于2019年1月开始正式进行全市范围的试运行。 平台建设内容包括： 1、总集成及部分应用开发：平台集成门户及整体平台的基础功能菜单级整合； 2、数据治理子系统：包含数据交换模块和服务管理模块，实现数据资源目录及三清单的管理，并提供市级数据库的对外发布利用； 3、数据共享交换子系统：实现数据交换引擎、统一调度引擎、任务管理、数据桥接等功能，以及数据湖数据的存储管理、共享与交换； 4、数据质量监管及支撑子系统：实现数据质量管理功能，包括数据质量规则制定、数据质量稽核、数据质量问题闭环管理； 5、大数据支撑管理子系统：包含市级数据湖和市级数据库，汇聚“四大基础库”、“市级统建系统”、“各市级委办系统”、“各行政区系统”的经过初始治理的原始数据；并存放经过一系列清洗、转换、加载、治理步骤后的高质量的政务数据资源，为城市管理、公共服务等提供数据来源； 平台接入52个委办的公共数据，每月16亿条以上，数据总容量在176.0 TB，人口库预计46.75TB，法人库预计1.78TB，空间地理库预计7.99TB，电子证照库预计91.05TB。 前期平台建设问题分析 在数据共享交换平台项目试运行期间，随着数据存储量的增长、数据交换共享需求量的增加，逐渐发现平台存在一些问题。 数据湖&数据库缺乏统一规划，数据标准需继续制定完善 现有平台应用支撑能力较为薄弱，容易形成数据沼泽 源端数据标准各异，加工存在技术壁垒 数据共享和数据开放能力不全面，开放门户使用价值不高 未规划主题/专题领域的数据综合应用，应用创新动能不足，需进行补充完善 城市管理数据缺乏，精准服务无法开展 数据安全管控仅考虑部分安全应用，数据全生命周期的安全管控存在短板，需整体提升安全防护能力 全生命周期安全管控能力有待提升 前期平台未规划数据实时采集技术，无法支撑高效业务协同 数据治理层面未考虑国家资源平台建设要求，需重新设计系统功能实现 数据共享时效性要求无法满足业务需要 本期平台建设目标分析 源端数据标准各异， 加工存在技术壁垒 城市管理数据缺乏， 精准服务无法开展 全生命周期安全管控能力有待提升 缺乏实时归集技术， 数据共享协同低效 聚：推进人口、法人、空间地理库数据源整合，促进电子证照库对接利用。逐步推进社会数据、互联网数据等采集汇聚 管：构建一站式数据资产可视化管理，通过对数据资产的血缘谱系和信息资源目录的统一管理，实现数据的全过程管理，以及各环节安全监管 通：实现基于应用场景的数据资源授权管理机制，推动公共数据按需充分共享。实现数据分级分类开放管理，扩展共享交换平台功能 用：开展主题数据库建设，推动数据资源整合及数据分析应用。开展数据应用模型及算法研究，探索数据服务模式创新 安：打造整体安全管控体系，保证平台上政务数据在数据汇聚、数据管理、数据共享、数据开放等全生命周期中的安全防护能力 建设 目标 本期平台建设内容分析 结合项目的建设分项目标分析，认为本次大数据资源平台的建设内容应包括： 数据管理子系统 数据治理子系统 平台集成门户 聚 管 通 用 数据开放子系统 市级数据库 大数据综合应用 安 数据安全管理子系统 本期平台建设内容分析 数据开放子系统（含开放门户） 大数据综合应用 数据安全管理子系统 通过宏观经济、市场运行、民生幸福、城市立方体等专题应用的建设，构建大数据综合应用示范辅助领导决策，构建应用管理中心支撑数据应用，以为各部门提供优质的数据服务。 主要实现数据应用方管理、开放清单管理（含开放清单维护、开放目录关联、开放数据集维护）、数据开放管理等功能。主要实现首页、数据目录、数据应用、数据图谱、地图数据、互动交流、数据开发者、辅助事项、个人管理等各项门户的建设。 主要实现安全基础功能管理、数据安全审计、风险识别管理、数据安全管理、敏感数据管理、安全监管中心、数据安全采集等功能，以及对大数据资源平台各功能模块的安全嵌入。 主要实现公共基础库建设（含人口库、法人库、空间地理库）、支持公共主题库建设（含经济活动库、公共事业库、社会关系库、人员密度库）、支持公共专题库建设（含经济运行监测、宏观经济预测等19个专题库）。 市级数据库 数据治理子系统 平台集成门户 数据管理子系统 主要实现数据架构管理、数据关系管理、数据分级分类管理、数据异常管理、数据分析管理、数据流程管理、流数据处理、知识图谱、数据分层管理、数据运维管理、数据资产管理功能。 通过国家资源管理子系统实现资源申请、撤销、审核、查询、消息、配置、应用及事项、使用单位对接、目录对接、业务流程对接、通知、监控模块对接等功能。 主要实现多租户功能、运营中心、开发中心、消息推送、数据推送、个人信息管理、系统管理功能。