将数据作为驱动和优化聪慧都会建立的中心要素，健全数据管理系统，促进数据资本高效管理、深度交融和开放同享，提拔大数据阐发才能和数据代价，深化数据在当局行业的立异使用

　　将数据作为驱动和优化聪慧都会建立的中心要素，健全数据管理系统，促进数据资本高效管理、深度交融和开放同享，提拔大数据阐发才能和数据代价，深化数据在当局行业的立异使用。在数据中台的建立过程当中，将会聚四大类数据构成数据资本池，经由过程开辟或利用数据收罗平台、根底数据支持平台、元数据办理平台、数据加工平台、大数据阐发平台、数据宁静管控平台、数据资本办理平台等，对数据停止存储、加工、阐发及办理，进而构成数据利用者所需求的高质量数据资本。

　　跟着四川省大数据手艺效劳中间、杭州市当局、长沙市大数据中间、青岛市大数据开展办理局、姑苏市信息中间等当局部分数据中台项目标展开、施行和建立，各行各业在阿里、腾讯、百度、京东等互联网巨子的动员下，连续展开了数据中台探究与理论。

　　当数据同享或交流给政务信息体系利用时，怎样确保数据的精确性和宁静性，将是数据办理者和手艺团队面对的主要成绩，如不克不及处理此成绩，将会招致数据毛病或数据无用，间接影响当局部分公信力都会风的构成示企图，以至激发群体变乱。

　　数据作为新型消费要素，经由过程对数据的管理、交融、阐发、发掘和探究，构成数据资产及效劳目次，利用者可按照效劳目次申请与定阅数据资本，经由过程智能网关或数据交流同享平台来完成各种体系的数据交流同享；当局指导经由过程指导驾驶舱、综合批示中间、决议计划支持体系、大数据阐发体系等来增强都会管理或办理，进步行政办理服从；政务APP经由过程数据中台挪用政务信息数据，为市民“网上办、一次办、指间办”供给便当，真正做到“让数据多跑路、让大众少跑路、数据效劳于民”；成立数据生态系统，完成数据的运维运营。

　　数据中台作为全域数据的同享和交流才能中间都会风的构成示企图，旨在供给数据的收罗、计较、存储、管理、交融、阐发和运营等一站式效劳及全性命周期办理，终极完成数据的“集、存、通、用、智”。

　　数据质量（Data Quality）是“数据满意使命需求的水平”，数据质量成绩指“给利用这些数据的使用带来潜伏影响的一系列数据表示” ，那些不契合请求或尺度标准的质量差的数据经常被称为“脏数据”（Dirty Data）或“坏数据”（Bad Data）。在聪慧都会建立过程当中，数据质量是影响开放数据代价天生的枢纽身分，数据质量的好坏间接影响到数据中台的建立效果，和当局的阐发决议计划才能和公信力，因而，要片面保证数据质量。

　　强化顶层设想，明白计谋定位。强化聪慧都会顶层设想、数据中台顶层设想，研讨数据中台团体计划设想和施行途径，构建数据蓝图；明白数据中台作为数字化转型的中心动力，是当局施行数字计谋的主要构成部门。

　　数据阐发：基于Kafka、Flink、Hbase、Hive、Maxcommpute等大数据阐发和计较才能，充实操纵数据发掘和智能阐发手艺，天生满意指导决议计划阐发、政务使用和数据运营所需求的数据。

　　文本记载阶段：以文本文档记载为主，此阶段处于信息化建立起步阶段，数据根本不被保留，数据存储量为MB级。

　　用数据： 从使用处景动身，将已构建的数据资产经由过程效劳化方法使用到详细的营业中光网都会，阐扬数据代价，让利用者从同一的数据出口得到所需数据，节省了人力、物力和精神。

　　精确性和完好性。保证数据在收罗、存储、洗濯、加工、阐发等过程当中的精确和完好，保证数据实时更新，查验能否存在缺失记载或缺失字段。

　　可用性和可会见性。数据管理的目标之一就是要将数据“用”起来。停止交流同享的数据，要保证其被数据利用部分一般会见。

　　宁静性和可追溯性。增强数据全性命周期宁静办理，订定数据宁静庇护步伐，增强信息收罗、同享、利用全历程的身份辨别、受权办理和宁静保证，避免被不法获得或窜改、半途截取或监听、擅自别传或导出等宁静风险。一旦发作数据宁静性成绩，立刻启动应急机制并快速溯源。

　　数据中台在建立过程当中将面对宏大应战，办理者和手艺团队在数据中台建立前，要重点思索怎样处理数据中台建立过程当中的难点、堵点和痛点成绩。文章作者分离对数据中台的研讨，提出以下建立战略：

　　分离营业需求，分期分批建立。数据中台建立是一个庞大的体系工程，其设想、施行需求将营业积聚和手艺积聚相分离，先从小场景、易完成、高需求方面动手，分期分批建立，切勿搞一次性片面建立，躲避推倒重来、反复建立。

　　对搜集来的各种数据，怎样根据尺度标准停止数据的归集、管理及加工，进而完成数据尺度化，将是数据办理者和手艺团队面对的枢纽成绩，此成绩能否能处理，将间接影响到数据中台建立的成败。

　　数据收罗：经由过程传统API、Agent、Snmp、Syslog、Sql Loader、Ftp等方法收罗“多源多类”海量政务数据，“分类分级”构成数据湖。

　　尺度性和分歧性。根据同一数据尺度标准请求，归整多源化、碎片化、零星化数据，保证数据与其对应的客观实体特性分歧，包管统一实体的统一属性值在差别的体系或数据集的分歧性。

　　2020年4月1日，习近平总书记在浙江省考查时再次夸大要捉住财产数字化、数字财产化付与的机缘；4月9日，中共中心、国务院印发《关于构建愈加完美的要素市场化设置体系体例机制的定见》，将数据作为一种新型消费要素，与地盘、劳动力、本钱、手艺等传统要素并列；4月10日，国度开展变革委、中心网信办结合印发了《关于促进“上云用数赋智”动作培养新经济开展施行计划》，该计划明白提出“将在已有事情根底上，鼎力培养数字经济新业态，深化促进企业数字化转型，打造数据供给链，以数据流引领物质流、人材流、手艺流、资金流，构成财产链高低流和跨行业交融的数字化生态系统。

　　整体上来讲， 数据中台的建立尚处于起步阶段， 还没无形成同一的建立尺度、标准和评价目标， 怎样建立数据中台正在成为学术界和产业界的一个研讨前沿，怎样收罗、收拾整顿、同享、交流、使用当局数据，怎样保证当局数据宁静和数据隐私，将是建立者面对的应战和亟待处理的成绩，文章经由过程长沙市大数据中间数据中台建立历程的理论经历，总结出以下难点、堵点和痛点，并构成响应处理倡议以供鉴戒。

　　可扩大性和易保护性。跟着当局信息化的建立和开展，数据当局对数据的依靠水平愈来愈高，但当局各部分的数据品种繁多、数据滥觞混乱、数据量宏大，这就请求数据中台具有很好地扩大性和易保护性，以保证数据的实时更新和完美。

　　数据中台就是经由过程数据手艺对海量数据停止收罗、计较、存储、加工和阐发，文章基于数据中台整体架构来设想其手艺架构，终极以数据内聚、才能集成、快速呼应、支持决议计划、开放生态的方法连续支持营业需求。

　　数据平台阶段：数据平台的呈现是为理解决数据堆栈不克不及处置非构造化数据和报表开辟周期长的成绩，其交融告终构化数据和非构造化数据，并对数据停止整合、阐发及发掘，数据存储量介于TB~PB级之间。

　　数据中台在建立过程当中会碰到林林总总的成绩，项目展开和促进难度大，文章梳理了数据中台在建立过程当中的难点、堵点和痛点，并提出相干的处理倡议。

　　做计划：因为数据中台建立本钱高、连续工夫长，因而建立前须做好顶层设想，再按照顶层设想体例可施行可落地的深化设想计划，订定团体计划蓝图，明白架构设想和施行途径。

　　IBM公司于2008年11月提出“聪慧地球”观点以来，“聪慧都会”已走过12年过程，聪慧都会作为信息手艺变化和常识经济开展的产品，是将云计较、物联网、5G、野生智能、大数据、车联网、智能制作等新一代信息手艺使用于都会建立和都会管理，增进了城镇化、产业化、信息化和智能化的交融。聪慧都会建立离不开信息手艺和数据的支持，当信息手艺开展到必然水平、数据到达必然量级时，全部社会将进入数据开放、同享的时期，数据将成为保贵的资产，由此，数据中台应运而生。数据中台有助于突破信息孤岛、消弭数据烟囱、快速呼应营业需求、提拔数据质量和数据操纵率，进而完成数据的精密化和高效化办理。

　　融数据：交融当局各部分数据，对数据停止分类收拾整顿，构成根底库、主题库、专题库、政务信息数据库、日记数据库等，天生常识图谱。数据交融完成了当局数据的高效整合和同一办理，为政务效劳、社会管理、民生效劳等供给了多样化的处理计划。

　　数据中台建立与传统OA（Office Automation：办公主动化）、ERP(enterprise resource planning：企业资本方案）、CRM (customer relationship management：客户干系办理）等单个政务信息体系建立差别，它是全域数据的系统化建立，建立途径总结为“五化十步”，五化：数据营业化、管理尺度化、办理平台化、数据资产化、资产效劳化，十步：深调研、理近况、做计划、立架构、制尺度、建平台、治数据、融数据、用数据、搞运营，如图3。

　　理近况：按照调研成果，夯实调研数据，理清当局各部分营业干系、数据近况、联系关系干系、手艺近况、构造近况等。

　　1981年8月，国度财务部和中国管帐协会正式提出“管帐电算化”，拉开了我国信息化建立序幕，跟着信息手艺的开展，数字信息化历经了文本记载、数据库、数据堆栈、数据平台、数据中台五个阶段。

　　搞运营：当局数据经由过程数据存储、数据加工、数据产物开辟和数据买卖平台在供给商和用户之间畅通，在全部过程当中连结并增长代价， 其发生的代价经由过程运营的才能不竭优化迭代，让更多的用户感知到数据的代价点，从财务上也可为当局减轻承担。

　　数据中台阶段：跟着大数据手艺的开展，在数据平台层面已难以处理多类联系关系体系数据尺度不1、零星、紊乱、复用差、宁静性低等成绩，而数据中台经由过程收罗及存储各种联系关系体系数据，经加工、管理、交融，将数据效劳化后间接供给给营业体系，并停止深度进修、智能化阐发，数据存储量为PB级。

　　数据交融：项目团队分离OLTP、OLAP、RDS、CMDB、HDFS等支流手艺建立主（专）题库、政务信息库、体系数据库、设置办理数据库和数据堆栈。

　　数据中台是指经由过程数据手艺对海量数据停止收罗、计较、存储、加工和阐发，并同一尺度和口径。它是一个可连续 “让数据用起来”的机制，是一种数字计谋和构造情势，是一套不竭将数据酿成资产并效劳于营业的系统。

　　数据库阶段：数据滥觞于单一体系的构造化数据和大批的历程及成果性数据，构成了OLTP（On-Line Transaction Processing联机事件处置）营业场景，数据存储量为GB级都会风的构成示企图。

　　总之，数据中台还处于重生形态，存在诸多不敷，数据中台的建立也不是一挥而就、与日俱增的，它须阅历一个连续的、不竭完美和开展的历程。因而，要想数据中台建立有效果、到达预期结果，就必需从顶层设想动身，当局“一把手”主抓，当局各部分同心合力、配合鞭策，同时配套严厉的监视及查核考评机制，如许当局才气真正完成“用数据语言、用数据决议计划、用数据办理、用数据立异”。

　　立架构：按照顶层设想、深化设想计划和团体计划蓝图都会风的构成示企图，成立或完美营业架构、数据架构、手艺架构、构造架构、平台及使用架构。

　　数据堆栈阶段：数据堆栈最后是基于企业运营决议计划体系的建立而提出，数据滥觞多个别系，次要为用户供给阐发报表和办理决议计划阐发，构成了大批数据的OLAP（On-Line Analytical Processing联机阐发处置）阐发场景，数据存储量为TB级。

　　建平台：搭建数据收罗平台、根底支持平台、元数据办理平台、数据加工平台、数据阐发平台、大数据办理平台等，操纵平台来对数据停止管理及办理，能够极大地进步事情服从。

　　有些当局部分信息化手艺气力弱，只知对某些数据的需求，但提不出具体的数据需求阐明，形成无数据但没法利用的场面。

　　数据管理：参考《数据办理才能成熟度评价模子》（GB/T36073-2018）、《IBM数据管理成熟度模子》和《DGI数据管理框架》，充实操纵ETL、Spark、Storm、MapReduce、元数据管理、数据建模等手艺，完成各种政务数据的交流、集成、洗濯都会风的构成示企图、转换和管理，并天生数据字典和常识图谱。

　　聪慧都会数据中台的数据滥觞有当局各部分数据、企奇迹单元数据、互联网数据和社会类数据，归结为四大类：1)根底数据、主题数据和专题数据，次要是当局积年沉淀数据，如生齿库、法人库、天文空间信息库、房产衡宇库、都会部件库、电子证照库、宏观经济库光网都会、金融信息库、卫生安康库、文明旅游库、市场羁系库等；2)政务信息体系数据，次要滥觞于当局部分打点营业时体系天生的数据库数据、历程或成果性文档数据；3)企奇迹单元数据，次要滥觞于国有企业、奇迹单元在处置消费运营过程当中构成的互联网光网都会、车联网、智能制作、政务信息等数据；4)企业和市民数据光网都会，企业和市民数据滥觞于企业、市民在打点行政答应事项时填写或供给的材料信息。当局在建立数据中台时，需将此四大类数据停止归集和存储。

　　当局部分信息化、数字化建立依靠于各类政务数据，如生齿库、法人库、天文空间信息库、都会部件库、房产衡宇库、宏观经济库、电子证照库、事项办理库、不动产信息库、工商办理库等，这些数据散布于公安、人社、资规、住建、行政审批、工商等行政办理部分，触及部分多、涵盖范畴广、数据体量大，各行政办理部分能否情愿和辅佐供给数据，将是“获得数据”主要处理的成绩。

　　数据中台会聚根底、主题和专题数据、政务信息体系数据、企奇迹单元数据、企业和市民填报数据四大类数据；再对这些数据停止加工、阐发、交融和办理；然后与政务信息体系、各种聪慧使用、企奇迹单元使用体系完成数据交流同享；并供给给指导做决议计划阐发和停止数据运营；同时，都会综合批示中间、政务APP等均能经由过程数据中台挪用相干数据停止展现。

　　聪慧都会为数据中台建立供给了情况与契机，数据中台为聪慧都会建立供给了数据支持与立异动力。长沙市大数据中间经由过程数据中台建立，在处理信息孤岛、数据烟囱、营业呼应慢、数据质量差、数据操纵率低等方面获得了必然效果，但还存在一些难点、堵点和痛点，在后续的建立过程当中将会有针对性地处理相干成绩。

　　订定尺度标准，严厉查核考评。订定数据的相干尺度标准，数据中台建立须严厉根据尺度标准操纵，制止瞽者摸象；施行严厉的查核考评轨制，监视数据中台建立全流程，发明成绩实时处置或整改，制止互相推委、互不作为征象发作。

　　数据交流同享：当局各部分经由过程智能网关、同享交流平台、API网关、效劳总线等挪用或获得所需政务数据。

　　治数据：数据管理是为办理和确保当局或企业数据的可用性、可会见性、质量、分歧性、可审计性和宁静性所需的流程、战略、尺度、构造和手艺，是对数据停止全局性、综合性的管理，是数据交流同享、阐发及运营的条件，终极构成数据管理一本账。

　　深调研：数据中台建立的主要事情是深化调研，对当局各部分营业体系、数据状况、手艺气力、构造架构等停止片面深化盘货，体例书面调研陈述，构成数据资产一本账光网都会。

　　制尺度：订定同一的有操纵性的高质量的数据尺度，成立数据尺度标准系统、数据宁静系统和查核考评系统，经由过程数据系统化建立来对项目标建立方、承建方及监理方停止束缚和查核考评。

　　建立数据中台的目标是：1)处理数据的“集、存、通、用”困难；2)提拔数据资本代价和数据立异才能；3)快速地呼应营业需求，为各种使用供给数据交流同享和数据阐发才能；4)打造都会数字孪生体，片面赋能惠民效劳、生态宜居、社会管理、财产开展等范畴，促进数据管理系统及聪慧都会建立。

　　为了保证数据中台建立的顺遂展开和落地，配套尺度标准系统、数据宁静系统和查核考评系统建立，有益于保证数据的尺度化、标准化、效果化、高质量、宁静性和代价性，有益于科学管控风险、提拔数据办理程度。

　　当局部分信息化根底设备层建立次要有以下几种方法：政务云、行业云、假造化平台、物联网、车联网及物理机，各类政务体系运转在根底设备上，各类政务数据流转和保留在根底设备中。根底设备层为数据中台供给了计较、存储都会风的构成示企图、收集、宁静等资本。

　　国务院印发了《增进大数据开展动作纲领》，旨在经由过程“用数据语言、用数据决议计划、用数据办理、用数据立异”来完成基于数据的科学决议计划，聪慧都会布景下降生及生长的数据中台需从当局营业全局动身，经由过程对政务信息体系前台和背景的完全解耦，完成政务数据的同享和复用，文章以长沙市大数据中间数据中台建立和贵阳市数据管理经历为参考，以“计划顶层化、数据尺度化、建立集约化、效劳高效化、数字生态化”为主线，根据“聚焦使用、数据驱动、共建同享、提拔智能、构成生态” 的团体思绪建立，停止了数据中台的逻辑架构、整体架构、手艺架构及系统建立设想，别离如图1、图2、图3。

　　成立办理机制，增强构造保证。成立指导兼顾办理及决议计划机制，完美办理和手艺团队亲密共同的构造架构系统、鼓励机制和集会轨制。数据中台计谋能否可以落实，中心身分是指导机制和构造保证能否有用；好的指导机制和构造保证，可处理项目中的各类磨擦和阻力。

　　数据中台的观点源于互联网市场经济光网都会，是企业在庞大的数据生态情况中停止数字化转型时发生的，被誉为大数据的下一站，2015年由阿里领先提出，2018年腾讯数据中台论再次使其成为热门。跟着我国数字经济的兴旺开展，阿里、腾讯、百度、京东、苏宁易购等互联网巨子接连引入中台计谋，中国企业数字化转型鞭策数字中台行业范围不竭扩展，iiMedia Research数据显现，2019年中国数据中台范围为36.09亿元，2020年中国企业数字中台估计爬升至72.5亿元。