随着大数据技术的发展,以及中国移动sx公司的现有经分系统发展遇到的瓶颈, 大量的数据不能接入、或成为摆设,而且传统的数据库系统容量有限,很多历史数据存 放不下,连续几年的趋势分析都不能实现,实时数据也不能及时获得,经常错过实时营 销良机,以及监控要点,所以在当前的经分系统已不能满足公司发展以及业务开展的需 要的情况下,根据中国移动SX公司的大数据平台战略发展需要,为公司领导做决策支 持系统的必要性和科学的发展意图,公司人员技术水平和业务水平以及管理水平提升的 客观需要,大数据平台建设的必要性已经凸显出来。 本文从实现的数据采集、数据管理中心、数据资产化管理、数据安全管理等方面分 析在一定的时间和一定的范围内,能够设计并开发出符合预期,或者满足实际业务需要 的系统的可行性。从财务的可行性和成本的合理性方面分析,估算大数据平台的预期收 益和成本估测,评估大数据平台的财务可行性。从组织上分析,公司上层是否重视大数 据平台,开发系统的人力,技术水平,知识管理水平是否能满足项目系统实现需求,从 而评估组织可行性。以经济效益和社会效益为出发点,分析并预测大数据平台建成后带 来直接和间接的社会效益,是否能实现企业的社会责任,分析并预测系统建成后带来的 直接或间接的经济效益,分析大数据平台建设中可能存在的风险,对系统建设的影响程 度,对系统的实施做出决策判断。以中国移动SX公司的大数据平台建设为对象,相关 文献为研究基础,系统分析了中国移动SX公司建设统一大数据平台的必要性,技术可 行性,财务可行性和组织可行性等多个方面的内容,对中国移动SX公司建设大数据平 台起到一定的借鉴作用,丰富了可行性研究理论的研究成果,也对其他打算建设大数据 平台的运营商企业以及其他欧亿·体育（中国）有限公司的企业起到一些借鉴作用。 关键词:大数据平台建设可行性研究数据管理数据融合和使用 研究类型:应用研究 I 西北大学硕士学位报告西北大学硕士学位报告 目录 mw:I ABSTRACT U 胃一胃離1 1.1选题背景与意义 1 1.1.1选题的背景1 1.2研究意义2 1.2.1理论意义2 1.2.2现实意义3 1.3研究思路及方法3 1.3.1研究方法3 1.3.2研究思路4 1.4研究内容5 1.5本文的创新点7 第二章相关理论综述 8 2.1电信运营商企业的大数据平台研究现状 8 2.2可行性研究的理论综述 9 2.2.1可行性研究理论的概念 9 2.2.2可行性研究的重要性 9 2.2.3可行性研究的主要内容 10 第三章中国移动SX公司大数据平台建设现状及存在的问题 12 3.1中国移动SX公司简介 12 3.2中国移动SX公司大数据平台建设现状 13 3.2.1中国移动SX公司大数据平台系统发展历程 13 3.2.2中国移动SX公司大数据平台建设现状 14 3.3中国移动SX公司大数据平台使用和管理中存在的问题 16 3.4中国移动SX公司大数据平台使用和管理中存在的问题的成因分析 18 第四章中国移动SX公司大数据平台建设的必要性分析 20 IV 目录, 4.1电信运营商欧亿·体育（中国）有限公司发展的要求 20 4.1.1电信运营商欧亿·体育（中国）有限公司面临的挑战和应对策略 20 4.2技术发展的要求 ; 21 4.2.1大数据技术的发展的要求......; 21 4.3企业内部管理的要求 21 4.3.1大数据发展战略的需求 21 4.3.2企业决策管理的要求 22 4.3.3企业决策组织扁平化的要求 22 4.3.4定性分析向定量分析的转换的决策思维创新的要求 22 4.3.5数据资产化管理的要求 23 4.3.6数据安全管理的要求 23 4.4企业内部业务发展的要求 23 4.4.1大数据应用发展的要求 23 4.4.2构建数据运营、创新商业模式的需求 24 第五章中国移动SX公司大数据平台的技术方案和可行性分析 25 5.1中国移动SX公司的大数据平台系统建设技术方案 25 5.1.1中国移动SX公司大数据平台系统整体架构 25 5.1.2中国移动SX公司的大数据平台的数据分布流图 26 5.1.3中国移动SX公司大数据平台的功能设计 27 5.2大数据平台系统建设技术可行性 30 5.2.1大数据平台系统数据采集管理的技术可行性 30 5.2.2大数据平台数据管理中心的技术可行性分析 31 5.2.3大数据平台数据资产化管理的技术可行性 32 5.2.4大数据平台多租户管理和数据透明访问的技术可行性 32 5.2.5大数据平台安全技术管理的可行性 33 5.3中国移动SX公司大数据平台建设财务可行性分析 34 5.3.1大数据平台项目的投资估算 34 5.3.2大数据平台主要硬件和软件资金投入估算 35 5.3.3大数据平台投资与传统架构资金投入对比分析 36 5.3.4大数据平台投资与产出效益分析 37 V 西北大学硕士学位报告 ^ 5.4组织可行性分析 38 第六章中国移动SX公司大数据平台社会经济效益与风险分析 39 6.1社会效益分析39 6.1.1大数据平台建设对推动社会就业和IT产业发展的帮助 39 6.1.2大数据平台建设对数据推动市场发展的帮助 : 39 6.1.3大数据平台对公共安全监控的帮助 , 40 6.2经济效益分析 40 6.2.1大数据平台成本分析 40 6.2.2大数据平台的经济效益分析 41 6.3风险分析42 m-trn^44 7.1主要结论44 7.2研究展望 44 嫌46 49 VIL 第一章导论 第一章导论 1.1选题背景与意义 1.1.1选题的背景 数据仓库是由数据仓库之父比尔.恩门(BillInmon)在1990年提出,其主要功能就是 有别与之前的联机事务处理(OLTP)系统,建立一个以数据分析和数据挖掘应用为主要功 能的联机分析处理(0LAP)系统,而其数据来源主要是来源于联机事务处理系统,通过分 析算法分析出有价值的内容为管理层提供决策支持,构建商务智能。中国移动集团公司 于2001年开始筹备建设经营分析系统,经营分析系统就是采用数据仓库的联机分析处 理概念为架构,搭建一个企业决策支持系统,对公司日常经营的数据进行分析、挖掘为 公司领导层和各层级管理人员提供经营决策依据,实现精细化营销。 随着大数据技术飞速发展,引发了大数据时代的到来,更多的用户的各种明细数据 得以保存下来,用户的数据成几何倍数的增长,传统的数据仓库已经不能满足这种数据 爆炸式增长的处理需求,而一种有别与传统数据仓库的分布式非机构化数据存储和计算 方式诞生了,其可以在普通电脑平台上运行,不像以前那样需要将系统运行在昂贵的专 业服务器上,众多公司都对这种技术实现方式趋之如骛,纷纷建设自己的大数据平台, 研究出来了各种各样的基于大数据的应用,并从中获得了大量的直接或间接的经济效 Itt^.〇 中国移动SX公司于1999年成立,公司成立后一直重视信息化建设,不断的跟随时 代的步伐,建设自己的信息化系统,之后也按照集团公司的规划建设了经营分析系统。 目前已经建设了一套比较完善的经营分析系统,其中包含专业的数据仓库。随着大数据 的发展,公司也紧跟时代的步伐,建设了一套流量经营系统,使用最新的大数据技术接 入了一些基站和网络交换机的数据,虽然目前大数据技术的应用还不够深入,大数据接 入的也不够全面,存在一些问题,但是通过开展经营分析系统和流量经营系统建设的各 项工作,中国移动SX公司也吸取了一些经验教训,学习到了一些先进的技术和理念, 这也为后续建设统一的大数据平台提供了经验参考。 由于数据源的不断增加,经营分析系统不断接入客户关系管理系统、计费系统、账 务系统、ERP系统等各种数据,中国移动SX公司主管数据系统建设的是业务支撑中心, 为了在下属各地市单位的业务支撑中心也推广数据仓库系统,方便各下属公司的使用, 1 西北大学硕士学位报告 又单独建设了数据集市,引入专门的数据源,专门应对各下属单位的使用。随着大数据 技术的发展,建设了流量经营系统接入基站信令和上网日志数据,同时经营分析系统与 流量经营系统又有数据交互,为了方便使用,又有部分专用接口只给某一个系统接入, 这就导致了数据源的管理紊乱。随着数据爆炸式的增长,专业服务器的投入已经跟不上 数据存储的需要,所以只能采取删除历史数据,或者采样接入部分不太关键数据的方式 来保证数据仓库系统的正常运行。 _ 经营分析系统在公司日常运营中占据了越来越重要的地位,公司每天都有一千多人 通过经营分析系统获取必须的数据信息,(这些数据新来多来自于数据仓库,也有一部 分用户是直接访问地市集市的,这也是经营分析系统的一部分)来支撑工作需要,而公 司内部为了支撑数据系统的建设和正常运转,拥有一百多名计算机专业人才,90%以上 的为高学历专业人才。 因此,为了更好的支撑公司的业务发展和经营决策,加强中国移动SX公司的数据 信息系统的建设,必须加快中国移动SX公司的大数据平台的建设,建设更大更快的统 一数据中心、统一数据源,统一数据模型,降低投资成本,接入并保存更多的数据,提 升运算能力,为决策分析提供更多的基础数据,使得公司的各级业务人员和管理人员能 够提高数据的使用效率,促进公司的业务发展。 1.2研究意义 1.2.1理论意义 中国移动SX公司面对大数据时代的技术发展态势,以及国内的电信运营商市场情 况,对标先进的电信运营商大数据平台建设公司,加快大数据平台系统建设的速度,经 过多年的努力,在数据仓库技术、大数据技术等大数据平台系统的建设上取得了一定的 效果,其某一方面的大数据应用基本赶上国内的先进水平,但是在实时数据处理,和统 一数据源,统一数据中心等方面的建设还与国内先进公司的大数据平台建设存在较大的 差距。在查询欧亿·体育（中国）有限公司的过程中发现,国内关于大数据平台建设的欧亿·体育（中国）有限公司并不是太多,大部分 都为某一方面的建设欧亿·体育（中国）有限公司,或者某一点的应用情况,或者简单粗暴的系统建设规划,缺 乏严谨科学的可行性研究。本文以中国移动SX公司的大数据平台建设为对象,相关文 献为研究基础,系统分析了中国移动SX公司建设大数据平台的必要性,技术方案设计 的技术可行性,财务可行性和组织可行性等多个方面的内容,对中国移动SX公司构建 大数据平台起到一定的借鉴作用,丰富了可行性研究理论的研究成果。 2 第一章导论.... 1.2.2现实意义 截止2015年底,中国移动SX公司存量客户到达2800万,其信息系统内保存了 350TB的数据量,构建了数据仓库一套,数据集市一套,HADOOP平台一套,系统的 存储容量已经使用到了80%,接近满负荷运转,系统的计算性能也接近瓶颈,一年前的 数据已经在系统里不能査询到,而新接入的信令数据和上网日志数据也只保留了最近1 个月数据,不能査询时间再长一点的数据,不能完全满足趋势分析和用户行为轨迹所需 的全部数据需求。而且传统数据仓库