敏捷型数据中台

Data Formula核心功能如下：

一、数据源支持
Data Formula支持多种数据源类型，包括离线数据文件、各种主流关系型数据库，NoSQL数据库，多维数据库以及第三方系统API接口。具体支持如下：
（1）离线文件：Excel，CSV格式文件；
（2）关系型数据库： My SQL，Oracle，SQL Server，Sybase，Postagre SQL，Greenplum，Vertica等
（3）NoSQL数据库： MongoDB，CouchDB等；
（4）多维数据库及其他： Kylin，SAP BW / HANA，Hive等；
（5）第三方API接口：指各类业务系统实现的用于数据传输的API接口，该数据对接方式支持定制开发。
 Data Formula支持对上述数据源类型进行数据抽取，用户可以进行一次性导入操作，也可以通过定时任务的方式进行定时批量数据导入处理，用户可以自定义任务的时间，频率，以及导入的具体条件。

二、数据模型管理
Data Formula从业务数据应用场景出发，采用业务域的方式，对数据模型进行管理，用户可以直观的通过业务模型视角，观察数据集之间的关系。也可以对数据模型进行增删改查操作，或者进行复制，修改等操作。
 
通过基于数据模型的管理方式，可以确保在数据中台内，数据的业务一致性和完整性，该管理方式是Data Formula数据管理方法论中的核心理念。
数据模型管理功能中也包含了主数据，以及数据标准的具体实践。每一个业务域，都可以定制自己的主数据，以及对应的数据标准。这样也便于业务快速的使用数据，避免了不同业务线对数据不同要求之间的冲突。

三、数据集管理
Data Formula数据资产管理功能中，可以通过数据模型定位到数据集，也可以通过数据目录定位到数据集。针对每一个数据集（归属于模型或离散的），用户都可以查看浏览该数据集的基本信息，血缘关系，以及对应的数据质量。用户也可以针对该数据集进行进一步的后续操作，进行数据转换加工，纳入某一特定业务模型或将此数据集共享至数据服务。
Data Formula中的数据血缘关系，通过数据集与数据集之间的转换关系进行描述，每一个数据变迁过程，都可以追溯到具体的字段以及变化内容。
Data Formula中的数据质量管理，不在作为一个独立的模块，而是作为数据集转换加工的依据，以及数据模型质量的基础。用户可以通过数据加工处理，进行数据质量的优化，以便快速达到业务需求。
 
四、任务调度管理
作为数据处理的核心体系之一，批量式数据处理是企业中最常见的业务场景。Data Formula中针对这种数据处理方式，提供了统一的任务调度管理功能，在该模块中，可以看到数据中台内部所有批量数据处理的任务，包括这些任务的状态，执行历史等信息。用户也可以对这些任务进行操作，包括修改，执行，暂停或者取消等。
 
五、流式数据处理
数据处理核心体系的另一个数据处理方式为流式数据处理。Data Formula可以对接以MQTT为代表的IOT数据消息队列，也可以对接Kafka，处理流式业务数据。
所有的流式数据，可以进行实时计算，并将结果汇入Data Formula统一数据引擎，还可以同时存入InfluxDB这类的时序数据库，也可以直接通过Data API，透传至用户侧的数据应用。
通过这种流式数据棱镜式的处理方式，可以将流式数据的管理和传统企业侧数据管理模式统一起来。

六、数据加工处理
Data Formula的数据加工处理功能，完全可以替代传统的数据ETL过程。数据中台理念中，通过数据的先期导入存储，后续根据业务要求，灵活加工，将传统ETL过程转化成了ELT过程，保证了数据业务的灵活性，快速的满足业务需求。
数据Transform的过程中，Data Formula提供了很多数据转换子操作，用户可以灵活的根据业务需要进行组合，从而形成一个功能强大且完整的数据处理流程。在快速满足业务需求的同时，轻松替换传统ETL。

七、数据算法管理
Data Formula针对数据加工处理，还提供了基于算法的增强能力。在某些行业中，可以使用标签算法，进行业务数据标签化，通过标签算法生成的业务标签数据集和业务数据集关联，可以形成基于标签的新业务模型。从而为业务系统进行对应的标签数据支撑。
Data Formula算法（AI）模块还支持用户自定义算法，目前支持的算法脚本语言为Python，用户可以将自定义的Python算法引入Data Formula，对数据进行加工处理，也可以使用Data Formula中的数据对机器学习（AI）算法进行训练优化。
 
八、 数据服务管理
数据服务能力是数据中台区别于数据仓库的核心区别之一。传统数据仓库通过用户名/密码的方式，对外输出数据，这种方式存在较大的安全隐患和性能隐患。在Data Formula数据中台设计理念中，使用数据服务API的方式，对外提供数据服务。API的方式，可以较为灵活的对数据权限进行控制，也可以对访问的压力进行缓冲，从而缓解性能瓶颈。
Data Formula产品中，用户可以通过配置的方式，快速生成一个数据服务API，无须进行任何代码的编写。数据服务API采用标准的Restful形式，数据使用标准的JSON / XML，方便业务系统进行对接。

九、用户权限管理
Data Formula采用标准的用户角色权限管理模式。所有的功能，数据都可以根据角色/权限进行分配调整。
在大部分实际业务场景中，用户权限角色体系，需要和企业的用户管理，权限管理体系打通，Data Formula在设计的时候就考虑到了这样的实施场景，可以方便的进行对接。
用户角色权限体系即可以深度对接，所有的权限管理，均在第三方系统内完成，也可以只进行用户认证体系对接，权限控制依然在中台体系内。具体的对接方式，可以根据业务场景灵活选择。
具体用户权限体系对接，可以咨询DataHunter售前工程师。

十、日志审计管理
作为数据中台，企业的数据心脏，用户的操作日志记录审计也是必不可少的功能。Data Formula能够将系统内所有的用户操作行为进行记录，包括数据导入，数据转换，数据共享等各个环节。
系统操作审计日志具备防篡改能力，可以随时进行查询浏览，保证了企业数据安全。