数据中台即服务——数据中台的四大支柱
大数据DT
共 5169字,需浏览 11分钟
·
2021-08-29 03:58
![](https://filescdn.proginn.com/261ba97c1026c8d5ccdd818d35577e36/74ff7435a5502f914a0da14742f2785f.webp)
导读:并不是数据中台不行,是需要找到正确使用它的方法。
作者:石秀峰
来源:谈数据(ID:learning-bigdata)
![](https://filescdn.proginn.com/66266e0d13f35211dad393f625c08699/617d5104dc2dcc2d8419234ba5283485.webp)
有人认为:数据中台是一个方法论,用来指导企业实现“业务数据化、数据业务化”; 有人认为:数据中台是一个管理和使用数据的思维模式,核心是数据资产的沉淀; 有人认为:数据中台是大数据平台的延伸,是大数据的下一站; 有人认为:数据中台是对内进行数据共享,对外提供数据开放的数据服务平台; 也有的人将数据中台当做一个产品,常常拿它与数据仓库进行功能比较。
![](https://filescdn.proginn.com/b85c59456b0f95acd83d30a4f503597d/8d446d3b2b799846542727c121f19c94.webp)
产品导向:这是提供给用户的数据平台、所有特性和功能,是工具和技术层面的内容,负责管理、加工、处理、运营数据。 敏捷团队:这是最重要的、确保数据中台成功最大的支柱,是实现新的数据运营模式——DataOps的关键。 数据服务:这是数据中台的灵魂,通过数据中台让用户在不付出大量努力和成本的情况下实现的结果,为用户提供价值。 培训赋能:这是让数据用起来的重要手段,它也是一项服务可以独立突显价值。
倾听用户(含潜在用户)的声音并尝试了解他们的需求及用户体验。 定义数据中台的定位和长期目标,数据中台一定不是一个通用的工具,每个企业的数据中台都应该有自己的“使命”。 全面的数据中台架构设计,定义哪些是常用功能,哪些是重要功能,定义尽量简化的业务场景,方便客户实现目标。 以MVP(最小可行产品)方式进行开发,及时与用户分享,以获得用户的初步反馈。 循序敏捷开发,不断优化改进。 清晰的产品路标设计,让老板和关键用户能够看到你现在在哪儿,要到哪去,以及定期获得用户的反馈。 数据中台的规划设计,MVP的开发都要一开始就致力于为用户提供价值,同时获取用户的反馈。用户需求不是一成不变的,数据中台必须不断变化,变化是数据中台生命周期的一部分。 数据中台技术路线最好选择云原生架构,微服务、DevOps、容器云等将使得数据产品的开发变得敏捷。 最后也是最重要的是要记住:数据平台也好,数据中台也罢,拥有最好的架构并不重要,再好的产品如果没有人使用它或者晚了两年用,那样就失去意义了。
![](https://filescdn.proginn.com/370e3e7ef59e83491c56fc4f1832da22/def76ca239af394e0d1c426d0ebde33f.webp)
数据整合化,以范式化的主题模型整合异构数据源数据,形成一数一源(One Data); 数据服务化,屏蔽上游数据结构变化对下游的影响; 数据标准化,统一业务和技术对数据的理解和认知。
整合内外部数据源,提供单线条垂直数据服务能力; 提供贴源的数据存储和服务,基于批处理或流媒体创建和自动化数据可靠管道。
统一ID,提供跨系统、跨设备、统一的数据标识(One ID); 统一标签体系,支持加工和提炼数据标签; 统一指标体系,支持加工和存储并提供统一指标数据; 一般不建议将复杂的加工萃取数据方式放在数据中台,如计算引擎,那是数据平台该干的活儿。
提供多样的数据服务方式,将数据中台的数据提供给数据应用方使用; 提供定制化模板服务,数据以约定的格式或复杂加工后,提供数据应用方使用。
提供统一的数据资产地图,数据目录和自助数据服务能力; 提供数据治理能力,统一数据标准和用数规范。
支持数据资产日常运营,提升数据资产价值; 提升需求响应效率,加速应用研发迭代效率。
提供数据管理、项目管理、开发管理、运营管理等支撑能力,为数据中台的持续化数据服务保驾护航。
![](https://filescdn.proginn.com/2b8bc9be876425f523a1228db4fe8326/3da101863cb0fd2dc2305e6c056f7f59.webp)
![](https://filescdn.proginn.com/f9fff3656cc3aad54e69becb1b8007e7/431bb2c5fbf3792994232daead1be61f.webp)
产品经理:负责定义业务目标,维护和执行数据愿景、战略等。 解决方案架构师:负责定义的需求和要求一致的整体技术蓝图。 数据工程师:数据中台的核心技术团队,负责构建整个数据“供应链”,了解Hadoop、Spark、Kafka等技术体系架构,创建数据模型,实现数据采集、流转和存储,为数据集成提供支持。 数据治理团队:负责数据质量和安全的处理和预防,确保业务目标的完成。有时候,也会将数据治理团队作为DataOps的一个分支。BI团队、数据科学家团队是实现“DataOps”关键组成,负责数据的探索、挖掘、分析以及数据的可视化。为业务问题提供支持,帮助理解业务问题、梳理数据结构、优化数据质量等。 业务用户:提供用数需求是数据中台服务的最终用户。业务用户基于数据中台的自助服务能力,进行数据的探查、探索,以及自助式数据分析。
参与培训的学员,往往将培训当成为一个临时的任务,他们中的一部分还有很多工作,所以他们并没有完全专注于培训的课程。 一部分学员在培训过程中,经常受到其他事项的干扰,导致没有完成完整的课程。 即使部分学员完成了完整的课程,可一旦正式使用还是不会用。 那么,这些培训是不必要的吗?当然不是,但您可能需要调整一下培训的方法和内容。实战例子、参考代码、练习,全程的支持,将传统“授课式”培训转变为“实战式”培训,并及时获得反馈。
![](https://filescdn.proginn.com/736cc668a32b5261cff50f886a50b104/04918eda9d1201e8895dccf1fdefaf8e.webp)
![音符](https://filescdn.proginn.com/8ce7457ffac2a620f863a21117fc3eca/c5dffe5e86de9651d7bc3c627d4d1af5.webp)
![](https://filescdn.proginn.com/2d8704164885a6e05b3831b5667218d4/11ce2e66b8d758bd61e3bba87ed8aade.webp)
评论