阿里数据技术专家的数据平台实战笔记

公共数据中心的建设，核心是为了解决指标一致性的问题。

按业务域和分析维度构建公共数据中心。什么叫业务板块？比如亚马逊，它是有电商和云两块业务的，那么这两块业务其实就是业务板块，我们一个抽取电商业务来看，有日志、交易、物流、广告等最基础的一些数据组成，这就叫做数据域。数据域是业务过程的集合，以交易为例，分付款，退拍下和退款，这三个业务过程共用的一个订单 ID，所以在一张事实表里。交易的过程有维度刻画，有商品、买家、卖家这些维度构成了维表，比如买家的昵称、注册的时间。维表冗余在实时表中的好处是减少大数据量的 join，保证数据的稳定高效的产出。通过建设可以让由矿石变成 92 号的汽油，这个时候数据就可以被使用了，这是基础数据建设的部分。

所有的运营产品、市场等业务的同学使用的数据全部叫做指标，这些指标全部是派生指标。跟大家一起拆解一个指标，叫最近 30 天会员在无线端的登录次数，那么最近 30 天就是时间周期，会员是统计粒度，统计粒度对应的最左边的维度信息。无线端就是业务限定，登录的次数就是原子指标。登录次数加业务限定就等于上面图表中最左边的业务过程。那这个指标拆解的过程怎么去映射到我们的技术数据，怎么关联呢？

再举两个例子。很多人可能简单自学 SQL 后，就可以自己跑数据：通常情况下，SQL 质量无法保证，如果查询的数据量非常大，可能后台几千台机器就转起来了。为避免类似情况发生，我们会在提交任务过程中做代码校验，对于性能问题、规范问题、代码质量问题都会给出必要的提示，比如 SQL 代码对于除数为 0 没有做代码兼容，比如我们的 DDL 语句中没有做数据生命周期的设置，比如 SQL 的 QUERY 中没有做分区的条件限制，甚至你的 SQL 代码别人已经计算过，可以复用结果不需要重新计算这些问题，我们都会给出精确到提示。

在数据研发过程中，代码编写可能只占工作量的 20%，那么大部分时间都去干吗了？是数据验证，代码修改前和代码修改后，数据到底差多少，差在哪儿？过去如果没有工具只能写一堆脚本，再去验证，效率极其低下，而且极易出错。现在有了“数据对比”工具，就可以通过简单的勾勾选选知道前后差异到底在哪？然后迅速给测试报告，保证整个研发过程的数据质量是有保障的。有了工具的建设，最后是运维。核心是要用最优的资源保障最重要的数据及时的产出。

标准化篇

以 IP to 地域为例，有阅读类的 App 做本地的资讯，这个服务在市场上面是很普遍的，但准确度只能做到 65%；再以游戏 App 为例，比如说品牌 /机型代表购买力，屏幕 /内存容量供开发者优化迭代产品。这些参数要是开发者去采集的话，会遇到特别多的问题，比如手机机型是 0011X，0011X 代表 iPhone11，那么集合于这两类的需求，这个时候就需要运用全域数据的能力，在高维的空间精准识别匹配信息。

反作弊篇

整个过程的反作弊怎么做？比如有一款视频类的 App 在做用户分层，一共 5 层，大多数精细化运营同学都会这么去做。第 1 层是超级用户，第 2 层是黑产设备。作弊数据对标签也是一种噪声，对于简单的机刷，用规则就可以识别出来。比如 IP 的黑名单库，设备的黑名单库。但是随着这些技术的日新月异，对于模拟器而言，要采用机器学习的方式，从行为数据中加以判断。还有种是“群控”，也就是羊毛党。第 3 层--第 5 层分别是高质量、中质量和低质量。

规则，IP 的黑名单库，设备的黑名单库。对于模拟器，采用机器学习的方式，从行为数据中加以判断，对于群控羊毛党采用图算法。多管齐下，滤掉 86%的一个假量。

打通篇

与此同时，互联网和传统行业一样都会存在着数据的孤岛，因为我们现在客户的触点是非常多的，比如说有传统的 PC 网站，有 App，有小程序。在跨端上面，比如两个小程序，A 上用户少，成交率高；B 上用户多，成交率低，要进行跨端的数据的运营。有 PC 和无线数据，PC 上面点了一个商品，App 上把相应商品或者相应的文章来推荐给用户，这样来看用户的留存将会得到极大的一个提升。设备聚合的主要场景是看小程序和 App 一共有多少用户。

标签篇

标签是通过行为分析认知用户的一个过程。是数据分析的一个起点，比如最近 30 天来过北京 2 次的人群，只要有业务价值，它就是一个标签。标签的分类，分有统计性和预测性，区别在统计型标签不需要样本集和准确度。那标签有什么作用呢？

一、市场细分和用户分群：市场营销领域的重要环节。比如在新品发布时，定位目标用户，切分市场。这是营销研究公司会经常用的方式。

二、数据化运营和用户分析。后台 PVUV 留存等数据，如果能够结合用户画像一起分析就会清晰很多，揭示数据趋势背后的秘密。

三、精准营销和定向投放。比如某产品新款上市，目标受众是白领女性，在广告投放前，就需要找到符合这一条件的用户，进行定向广告投放。 四、各种数据应用：例如推荐系统、预测系统。我们认为：未来所有应用一定是个性化的，所有服务都是千人千面的。而个性化的服务，都需要基于对用户的理解，前提就需要获得用户画像。

常用的一些标签体系（以下均为大数据预测结果）： 第一类：人口属性。比如说性别、年龄、常驻地、籍贯，甚至是身高、血型，这些东西叫做人口属性。

第二类：社会属性。因为我们每个人在社会里都不是一个单独的个体，一定有关联关系的，如婚恋状态、受教育程度、资产情况、收入情况、职业，我们把这些叫做社会属性。

第三类，兴趣偏好。摄影、运动、吃货、爱美、服饰、旅游、教育等，这部分是最常见的，也是最庞大的，难以一一列举完。

第四类，意识认知。消费心理、消费动机、价值观、生活态度、个性等，是内在的和最难获取的。举个例子，消费心理 /动机。用户购物是为了炫耀，还是追求品质，还是为了安全感，这些都是不一样的。 如何判断标签体系的好坏？

在实际构建标签体系时，大家经常会遇到很多困惑，我列举 5 个常见问题：

第一、怎样的标签体系才是正确的？其实每种体系各有千秋，要结合实际应用去评估。

第二、标签体系需要很丰富么？标签是枚举不完的，可以横线延展、向下细分。也可以交叉分析，多维分析。如果没有自动化的方式去挖掘，是很难做分析的，太多的标签反而会带来使用上的障碍。

第三、标签体系需要保持稳定么？不是完全必要，标签体系就是产品 /应用的一部分，要适应产品的发展，与时俱进。比如， “新冠”这个词，今天却很热。我们是不是要增加一个标签，分析哪些人有购买新冠相关的防疫药品。有一种情况下，标签要保持稳定。如果你生产的标签有下游模型训练的依赖，即我们模型建完后，它的输入是要保持稳定的，不能今天是 ABC，明天是 BCD。在这种情况下，是不能轻易对标签体系做更改的。

第四个，树状结构 or 网状结构？树状结构和网状结构从名字上就可以看出其分别。网状结构，更符合现实，但是层次关系很复杂，对数据的管理和存储都有更高要求。知乎，如果仔细去看它的话题设置，其实是网状的。

网状的特点就是一个子话题，父级可以不止一个，可能有两个。比如儿童玩具，既可以是母婴下分分类，也可以是玩具下的分类，它就会存在两个父节点之下。树状结构相对简单，也是我们最常用的。网状结构在一些特定场景下，我们也会去用。但是实现和维护的成本都比较高。比如，有一个节点是第四级的，但它的两个父节点一个是二级，一个是三级，结构异化带来处理上的麻烦。

第五个，何为一个好的标签体系？应用为王，不忘初心。标签是为了用的，并不是为了好玩，最好保证标签体系的灵活和细致性。

智能篇：

数据智能的建设指分析、洞察、策略、效果的工程化能力，有了这些智能的工程化能力，就能通过引擎向外暴露接口的方式来支持百花齐放的业务，支持所有开发者的业务，这就是友盟+采建管用一站式服务平台的整个建设过程，开发者可以借此为例，快速自建、或依靠友盟+的技术能力，丰富自己的数据智能平台 /数据银行的建设。

规划和感想

第一，快速建模的能力。实时自动的标签产出，或者结合业务场景的实时化，能最大保障智能化运营的及时性；

第二，不能只说这个用户对汽车感兴趣，而是需要细分到车型、价位，甚至他去买车时，会关注驾驶乘坐的舒适性、操控的灵活性，还是内饰的细节。

感谢阅读