高校数据治理和全量数据中心建设 严选

希嘉教育

共 2051字,需浏览 5分钟

 ·

2020-11-10 18:41

商品详情

商品亮点
  • 对高校数据进行调研盘点、标准统一、全量采集、整合清洗,形成全覆盖、高质量、标准化数仓,解决数据标准不一、来源不清、质量不高、数据孤岛等问题,为数据共享、工作流程、管理优化、科学决策提供一站式数据支持。
商品说明
版本: V1.0 交付方式: 人工服务
适用于: Windows/Linux 上架日期: 2019-06-26

服务亮点:

1    标准化数据:实现全校数据一数一源,标准统一,并推行标准落地执行措施

2    高质量数据:范围全量覆盖,来源权威可信,质量清洗提升,内容高度整合,

3    全场景支持:中间库交换,API接口调用,数据库直连,数据离线下载

4    全业务支持:共享交换,一站式服务,移动校园,统计分析可视化,数据填报,报表生成,决策支持等

服务内容

数据治理包含如下10项工作内容:

1     校级标准制定       遵守国家强制标准、参考教育部推荐标准和其他学校数据标准,引入学校已有事实标准(含元数据模型和代码集),兼顾各个标准之间的兼容性、一致性以及标准的可扩展性,并匹配学校的管理特性,确定数据子集的分类方式,建设和完善校级数据标准。制定学校自定义的编码规范并给出数据分类编码规格说明书。

2     数据调研       对学校的部门组织架构、管理机制、数据管理现状进行调研了解。对各管理部门的业务内容、组织机构、管理信息系统、后台数据库信息、数据内容和形态、供需关系、交换共享要求、数据质量问题、现有标准资源等进行调研了解并输出数据现状报告。

3     数据识别       根据数据调研的结果,梳理可用数据的来源和分布,查看实际的数据内容和质量情况。根据数据治理范围,识别出目标数据所在的库、表、字段、格式等。

4     部署软件工具       数据建模工具:基于制定的校级数据标准形成物理模型,并批量建库建表,用于后期存储治理后的成果数据。

DLF:数据湖工厂。对数据进行采集、传输、转换、处理的软件工具。

ROMA:数据开放平台,用于承载和管理治理后的成果数据,并对其进行封装、授权、管理、监控和发布。

DLG:数据湖治理。数据湖治理,提供元数据管理、数据质量管理、数据资产管理等功能,对治理成果数据进行在线化、可视化、可继承化、可管理化的运维监控。

RDS:关系型数据库平台,提供结构化数据库存储和计算引擎。

MRS:数据仓库平台,提供海量数据存储和计算架构,及流处理、机器学习、消息订阅等组件。

5     数据采集       全量数据采集,包括数据库数据、线下表格、互联网数据、日志类数据。

6     质量检查       制定数据质量规则(如非空、唯一性、长度、取值范围、枚举范围、关联一致性等)。按业务规则将质量规则绑定到字段上执行质量检查,输出数据质量报告和不合格数据,以便评估数据质量状况、定位有问题的数据进行修正处理。

7     清洗转换和质量提升    对结构性问题,如代码不一致、格式单位不一致等问题,通过批量的、规则化的转换处理,实现质量提升。

对内容性问题:如数据缺失、内容错误等问题,将问题数据和质量报告提交到数据对应的负责部门,由管理部门或数据所有者进行核实、补充、修正后,再次采集入库为有效数据。

8     成果数据生成       将各种清洗转换完成、符合质量标准的数据导入到之前已经建模完成的表格中,即形成了符合校标的、质量达标的成果数据。这是数据治理项目最重要的成果之一。

9     数据封装发布       合格的成果数据有数据开放平台进行封装、发布,通过ETL传输、API调用、数据库连接、离线文件下载等方式向各个应用系统、数据使用单位提供数据调用服务和数据共享交换服务。


交付成果:

1-校级数据标准:数据子集和元数据模型、标准代码集。

2-成果数据:学校基础数据集、学生管理数据集、教职工管理数据集、教学管理数据集、资产管理数据集、科研管理数据集、财务管理数据集、日志数据集等。

3-软件体系:PowerDesigner(数据模型管理)、华为RDS(结构化数据容器)、华为DLI、CDM(数据集成迁移)、华为DWS(数据仓库存储计算)、华为DLG(元数据、质量等)、华为ROMA(数据封装发布)。 

4-管理知识库:数据现状报告、数据UC矩阵、数据资产目录、元数据库、数据流向关系、数据质量规则库、数据质量绑定关系、数据质量报告、ETL接口映射(转换)信息等。

5-制度规范:数据标准更新发布规范、数据标准遵从规范、权威数据管理责任、数据质量保障职责、数据安全保障职责、数据开发调用规范、数据共享交换规范、数据管理考核体系等。

用户案例

暂无,请等待更新
浏览 2
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报