一文读懂数据中台
共 7257字，需浏览 15分钟
·
2021-09-30 22:38
不能把数据中台简单看作一个项目或产品，建设数据中台要从战略、认知、组织保障等更高的层面做规划。3.2节重点介绍的数据中台建设方法论体系，是笔者们多年大数据领域从业经验和多个数据中台建设经验的总结。希望这套数据中台建设方法论可以起到指引作用，帮助企业结合自身特点，在战略规划牵引下，建立起一套可持续运行的中台建设机制，从而加速企业在数字化转型上的进展。
这个价值框架融入企业的运营活动中就能支撑数据中台的组织地位：数据中台必须拥有与企业的设计部门、制造部门、销售部门等同样重要的地位（见图1-2）。
图1-2 数据中台的组织地位
对于图1-4所示的数据中台建设方法论体系，需要从组织、保障、准则、内容、步骤5个层面全面考虑，以确保数据中台建设和实施能如期完成。
1种战略行动：把用数据中台驱动业务发展定位为企业级战略，全局谋划。
2项保障条件：通过宣导统一组织间的数据认知，通过流程加速组织变革。
3条目标准则：将数据的可见、可用、可运营3个核心准则始终贯穿于中台建设的全过程，保障建设在正确轨道上。
4套建设内容：通过技术体系、数据体系、服务体系、运营体系建设保证中台建设的全面性和可持续性。
5个关键步骤：通过理现状、立架构、建资产、用数据、做运营5个关键行动控制中台建设关键节点的质量。
1种战略行动
建设数据中台是为了支撑企业数字化、智能化升级，通过全局的维度支撑业务，让企业在市场上更具竞争优势，因此需要从公司战略层面来规划。在中台建设过程中，会涉及所有相关业态、各块资源的协调和推进，这都需要站在更高的层面来考虑。当然，具体在实施过程中，为了能快速迭代推进，也会采取从点到面的突破方法，从某个业务或者某个部门开始，初步构建看到成效再逐步推广，但不影响其作为核心战略的定位。
数据中台要求整个企业共用一个数据技术平台、共建数据体系、共享数据服务能力。现实中，企业业务发展不均衡，各种部门墙导致共建、共享非常困难。数据中台不仅是对技术架构的改变，还是对整个企业业务运转模式的改变，需要企业在组织架构和资源方面给予支持，所以中台是一个企业的战略行动，绝非一个项目组或者一个小团队就能做的。数据中台牵涉企业的方方面面，你要了解整个企业的业务情况，进行业务梳理，还要有技术的支撑、组织的支撑，否则很难推动落实。
首先，中台战略的实施需要有组织保障。与组织对应的是资源与责任，数据中台由谁来建、谁来维护、谁来经营、业务需求怎么承接、效果怎么衡量等问题，已经超出IT的范畴，需要企业更高层面对应的组织来保障。图3-5所示为中台组织架构。企业实施数据中台战略，必须首先建立起数据中台团队，让他们负责中台的建设、维护、运营以及业务的承接和中台服务的推广等。另外，有了中台，企业的运转模式发生了变化，业务、后台、管理等团队也需要有对应的组织人员与中台团队对接。
3项目标准则
数据中台的3项目标准则——可见、可用、可运营，不仅可作为企业在数据中台建设中的具体建设指引，也可用来客观评估目前建设内容的完整度。
4套建设内容
1.技术体系
技术体系分两个层面：大数据存储计算技术和数据中台工具技术组件，技术体系主要关注点是工具技术组件。大数据存储计算技术，比如Hadoop、Spark、Flink、Greenplum、Elasticsearch、Redis、Phoenix等，相对标准，企业只需要进行合理选型即可，并不需要自己建设，而且技术难度很大，企业也不太可能自己建设。数据中台工具技术组件包括数据汇聚、数据开发、数据资产管理、数据服务管控等。数据中台是企业制定和实施数据汇聚、建模和加工规范的场所，也是企业数据体系存储管理的工具平台。通过工具化、产品化、可视化降低技术门槛，让数据能够被更方便地加工使用。
2.数据体系
数据体系是数据中台建设、管理、使用的核心要素，全企业的数据通过各种方式汇聚到数据中台，在数据中台按照一定的建模方式进行加工，形成企业的数据资产体系。数据中台始终围绕着数据体系的建设和使用，让数据体系尽可能完整、准确、使用广泛。不同企业的业务不同、数据不同，数据体系的内容不同，但是建设的方法和对工具的要求是相似的，需要在中台工具和建设方法的基础上针对不同的企业建设不同的数据体系。
3.服务体系
数据中台与大数据平台的最主要区别是数据能更方便地以服务化的方式支撑业务，而这是通过数据中台服务体系实现的。服务体系是通过数据中台的服务组件能力，把数据变为一种服务能力，比如客户微观画像服务、信用评估服务、风险预警服务等，让数据能够方便地参与到业务中并为业务带去价值。笔者经常听到的数字化转型、数据化经营，就是让业务决策通过数据而不是仅凭经验，需要的正是数据服务能力。每家企业的业务不同，对数据服务的诉求也不同，数据中台无法产品化地提供企业所需的所有数据服务能力。数据中台通过提供数据服务生成、发布、监控、管理功能，帮助企业逐个建立属于自己的每一个数据服务，逐步完成企业数据服务体系的构建。
4.运营体系
运营体系是数据中台得以健康、持续运转的基础。运营体系包括平台流程规范执行监督、平台资源占用的监管及优化推动、数据质量的监督及改进推动、数据价值的评估、数据服务的推广、稽查排名等。其目标是让平台可以持续健康运转，产生持续价值。数据中台是个复杂工程，数据的汇聚、开发、管理、服务都是要持续进行的工作，如果没有运营体系的保障，可能会导致后期的参与者无从下手，随着时间的推移，数据的质量、服务的效率也会持续下降，进而导致中台无法使用。数据中台是一个持续的过程，一旦启动，就不能暂停，更不能停止，而保障数据中台持续高效运转的就是这套运营体系。
5个关键步骤
数据中台在具体落地实施时，要结合技术、产品、数据、服务、运营等5个方面，逐步开展相关的工作，在构建闭环时会多考虑基础设施部分的能力。一旦闭环建设完成，就可以在各个环节不断丰富能力，逐步成为数据应用的完整体系。根据笔者的实践经验，数据中台的建设过程主要通过5个关键步骤来完成，如图3-6所示。
图1-6 中台建设的5个关键步骤
1.理现状
梳理企业的系统建设、已经拥有的数据以及业务特点等现状，了解企业对数据中台的认知，以及相应的数据文化建设情况。点对点地与业务部门、IT部门进行沟通，获取企业的产品和服务信息，形成业务现状调研报告，同时了解目前企业以怎样的组织形态来保证客户的服务能力。详细调研目前企业的IT建设情况和业务数据沉淀情况，比如采用的什么数据库、数据量、数据字段和更新周期等，以便后续更好地设计技术架构。
2.立架构
根据现状形成整体的规划蓝图，形成技术产品、数据体系、服务方式以及运营重点等相关的方案，梳理并确立各块架构。企业信息架构经常谈到的4A，即业务架构、技术架构、应用架构和数据架构都需要在这个阶段进行确认。这4个架构具体介绍如下：
业务架构：保障数据中台能够适用于企业的业务运管模型和流程体系。
技术架构：主要是指技术体系中的数据基座，主要根据业务架构近远期规划，对数据的存储和计算进行统一的选型。
应用架构：特指数据中台应用架构，后面几个关键步骤的内容所依赖的工具主要由数据中台作为平台应用来承接。
组织架构：主要是保证中台项目的顺利落地需要企业考虑的整体组织保障，其中的角色有业务人员、IT人员、供应商和相关负责人。
3.建资产
结合数据架构的整体设计，通过数据资产体系建设方法，帮助企业构建既符合场景需求又满足数据架构要求的数据资产体系并实施落地。这个步骤涉及数据汇聚、数据仓库建设、标签体系建设以及应用数据建设，其中最关键的是标签体系建设。所谓标签体系是面向具体对象构建的全维度数据标签，通过标签体系可以方便地支撑应用，大数据的核心魅力和服务能力主要就体现在标签体系的服务能力上。
4.用数据
从应用场景出发，将已经构建的数据资产通过服务化方式，应用到具体的业务中，发挥数据价值。将数据资产快速形成服务能力并与业务进行对接，在业务中产生数据价值，实现数据的服务化、业务化。在服务过程中，数据安全是不得不考虑的问题，哪些人能看到什么数字资产，能选择什么类型的服务都是需要严格审核的。
5.做运营
通过前面对数据中台建设方法论体系的介绍，了解了数据中台的行动、保障、准则、内容和步骤。这一节将让大家了解数据中台的总体架构、包含的模块、模块之间的关系以及运转机制。
数据中台的目标是让数据持续用起来，通过数据中台提供的工具、方法和运行机制，把数据变为一种服务能力，让数据更方便地被业务所使用。图3-7所示为数据中台的总体架构图，数据中台是位于底层存储计算平台与上层的数据应用之间的一整套体系。数据中台屏蔽掉底层存储平台的计算技术复杂性，降低对技术人才的需求，让数据的使用成本更低。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过资产管理与治理、数据服务把数据资产变为数据服务能力，服务于企业业务。数据安全管理、数据运营体系保障数据中台可以长期健康、持续运转。
1.数据汇聚
数据汇聚是数据中台数据接入的入口。数据中台本身几乎不产生数据，所有数据来自于业务系统、日志、文件、网络等，这些数据分散在不同的网络环境和存储平台中，难以利用，很难产生业务价值。数据汇聚是数据中台必须提供的核心工具，把各种异构网络、异构数据源的数据方便地采集到数据中台中进行集中存储，为后续的加工建模做准备。数据汇聚方式一般有数据库同步、埋点、网络爬虫、消息队列等；从汇聚的时效性来分，有离线批量汇聚和实时采集。
2.数据开发
通过数据汇聚模块汇聚到中台的数据没有经过处理，基本是按照数据的原始状态堆砌在一起的，这样业务还是很难使用。
数据开发是一整套数据加工以及加工过程管控的工具，有经验的数据开发、算法建模人员利用数据加工模块提供的功能，可以快速把数据加工成对业务有价值的形式，提供给业务使用。数据开发模块主要面向开发人员、分析人员，提供离线、实时、算法开发工具，以及任务的管理、代码发布、运维、监控、告警等一系列集成工具，方便使用，提升效率。
3.数据体系
有了数据汇聚、数据开发模块，中台已经具备传统数据仓库（后面简称：数仓）平台的基本能力，可以做数据的汇聚以及各种数据开发，就可以建立企业的数据体系。之前说数据体系是中台的血肉，开发、管理、使用的都是数据。大数据时代，数据量大，增长快，业务对数据的依赖也会越来越高，必须考虑数据的一致性和可复用性，垂直的、烟囱式的数据和数据服务的建设方式注定不能长久存在。不同的企业因业务不同导致数据不同，数据建设的内容也不同，但是建设方法可以相似，数据要统一建设，笔者建议数据按照贴源数据、统一数仓、标签数据、应用数据的标准统一建设。
4.数据资产管理
通过数据体系建立起来的数据资产较为偏技术，业务人员比较难理解。资产管理是以企业全员更好理解的方式，把企业的数据资产展现给企业全员（当然要考虑权限和安全管控），数据资产管理包括对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示，以一种更直观的方式展现企业的数据资产，提升企业的数据意识。
5.数据服务体系
前面利用数据汇聚、数据开发建设企业的数据资产，利用数据管理展现企业的数据资产，但是并没有发挥数据的价值。数据服务体系就是把数据变为一种服务能力，通过数据服务让数据参与到业务，激活整个数据中台，数据服务体系是数据中台存在的价值所在。企业的数据服务是千变万化的，中台产品可以带有一些标准服务，但是很难满足企业的服务诉求，大部分服务还是需要通过中台的能力快速定制。数据中台的服务模块并没有自带很多服务，而是提供快速的服务生成能力以及服务的管控、鉴权、计量等功能。
6.运营体系和安全管理
推荐阅读：
不是你需要中台，而是一名合格的架构师（附各大厂中台建设PPT）