SaCa DataExchange-轻识

商品详情

商品亮点

在华为云服务器出色的处理性能，单表单线程可达7万条/秒。
纯WEB数据转换清洗配置，无需任何插件遗留
丰富异构数据源兼容能力，包括关数据库、大数据平台、数据文件、文件服务器、接口、流数据等
多种增量采集模式，尤其是对数据库无任何依赖的高速镜像采集模式

商品说明

版本: V5.0	交付方式: 镜像
适用于: Linux	上架日期: 2020-06-16

SaCa™ DataExchange采用面向服务的体系架构，以服务的形式构建数据迁移、交换等数据集成流程。
        系统以元数据服务为支撑，基于CWM-XMI、W3C-XML Schema规范，提供对传统的数据库、半结构化和非结构化文件数据的支持，以及对分布式存储等新兴技术的支持。
        在运维层面上，提供了基于Web的管理与监控工具；
        在开发层面上，提供了图形化的配置工具；
        在组件层面上，系统提供了数据访问服务、错误处理服务、数据转换与清洗服务、数据传输服务、任务调度服务、元数据管理服务、管理监控服务等服务。
        核心特性
        集中或分布式部署模式，基于网络环境和安全性实现多点部署和统一管理；
        图形化ETL定义工具，快速的定制开发数据抽取、转换（清洗）和加载任务；
        远程管理与监控，统一管理、调度，实现全局总控与系统自动化运转；
        错误处理与恢复，实现系统内自动识别与处理故障，减少人工参与；
        多种增量抽取方案，增加数据同步的高效性、降低网络传输的资源占用；
        系统远程升级，快速部署新功能与缺陷的快速修复，降低人工升级维护成本。
       典型特性
        提供多种系统版本的安装，包括windows、Linux等，不依赖于系统软件，可以在任意的服务器上部署，无需安装到源数据库或目标数据库系统
        采用B/S/S模式，提供web管理界面以及服务接口，支持远程管理和监控
        支持分布式环境下的整体监控，提供节点网络拓扑管理
        兼容主流数据库间的数据同步，包括Oracle、DB2、SQLServer、Sybase、Mysql等，同时能够针对不同的数据类型进行无编码方式自动转换，支持大字段
        支持基于数据库表、视图的数据同步，在不改变原有数据库系统结构，不侵入数据库系统的前提下，完成针对于表、视图的数据抽取、转换以及目标写入
        支持XML文件、Excel、CSV等文件类型数据源的读取
        支持平面数据的自定义抽取
        支持各种字段级的映射转换，如类型转换、字段拆分、字段合并、字符串处理、日期转换、算术运算、码表转换等，同时提供自定义转换接口实现特殊的数据转换处理
        通过日志、事务、故障处理等手段，保证系统运行的可靠性，以及业务过程的安全性，出现错误时，可以恢复运行，支持断点续传
       提供图形化映射工具，支持源到目标的字段细节映射，支持一对一，一对多，多对多的映射
       支持手动、自动调度任务执行，同时调度定义在无人值守的情况下，完成数据的准实时（秒级）同步、分发、上报
       提供多种增量数据捕获方式，Snapshot增量数据捕获可以通过映射工具进行配置，无需在源、目标数据系统中安装任何程序，在系统内即可高效率的完成增量数据的分析捕获
       支持多个无关联任务并行执行，并且可以在监控页面统一进行任务运行状态的查看、管理
       提供多种处理接口，支持在任务启动、完成、出错状态下触发相应的处理接口
       支持图形化任务流程监控，更直观的展现数据流转情况
       支持Hbase、Hive、Impala、MongoDB NoSQL数据库
       支持与DataServices、WebServices交换数据
       支持系统发生错误时告警
      产品使用方式
      1、防火墙需开放8080端口；
      2、打开浏览器输入：http://IP:8080/dxmanager，默认用户名是admin，密码是1，登录成功后，可参考产品使用手册进行数据处理操作。

用户案例

国家法人单位基础信息库

助力国家工商总局实现全国法人单位基础信息的采集以及主题库的建设。采集全国法人数据总量10亿+，同步全国法人数据表总量3400张+，每日处理增量数据2000余万。
需求 
	以工商部门工商登记改革为契机，通过推进工商业务协同一体化进程，建立国家法人单位基础信息库，收集全国各类市场主体基础信息和行为信息，为企业法人基础信息资源库提供数据支持。以企业法人基础信息为基准，建立信息共享和校核机制，逐步建设内资企业、外资企业、个体工商户、农民专业经济合作社、农资市场、网络经营主体、直销企业管理、广告经营主体等方面的业务信息库。
	国家法人单位基础信息库汇集了协同业务平台所产生和收集的各类信息，通过数据汇聚、数据管理、数据分析、数据统计、数据共享和联网应用业务，对全国市场主体的信息进行整理，为工商部门全系统协同监管提供数据支撑，为各部门提供信息共享服务，为政府决策、社会投资和行业监管提供数据决策服务。 
	
解决方案 
	采用东软SaCa DataExchange据集成解决方案技术，建立高效快捷、安全可靠、高数据质量的全国法人单位基础信息库，其中包括法人单位基础信息库、总局各主题库、公示同步库等建设，技术实施环节主要涉及下级各单位的数据质量校核、比对、数据交换、数据转换清洗和数据服务等。

国家人口库

1项目背景
公安部是国务院主管全国公安工作的职能部门。公安部全国人口数据库信息系统，是公安部最重要的信息系统之一，承载了全国全部人口的数据，系统建设时已承载13亿人口数据，对外提供各类人口数据信息的查询。
2项目问题
项目问题：
	如何实现海量人口数据定期上传、更新
	如何保障人口数据上传、更新的及时性，保证13亿人口信息的鲜活性
	如何提供安全数据交换机制，保障人口数据信息的安全传输
	如何提供校核机制保障人口数据基准性和准确性
3产品方案
为了满足国家人口库项目建设需求，将省市等各级的人口信息及时、完整同步至公安部人口中心库中，整体方案架构如下，数据交换平台产品分级部署在地市端及省级端，实现数据从地市同步上传至省级，之后再通过交换平台将各省级的数据同步至部人口中心库中，为国家人口信息库提供详实、准确、完备的信息基础。

在方案中为了解决上述提到的海量信息定期上传、数据更新的及时性、传输过程的安全性及人口数据的准确性等问题，整体技术架构如下：
	支持海量数据同步
交换平台提供断点续传和增量数据同步机制，可以支持百万数据量数据的同步、更新。
	支持准实时的数据同步更新
交换平台通过高频的轮询，基于数据库日志的方式，将变化数据及时同步至目的端数据库，确保各级人口数据发生变化时及时同步更新，保证鲜活性。
	提供完善的安全传输机制
通过“分级授权+ 交叉授权”的授权模式保证了数据的安全性，并在支持安全传输信道及数据加密机制。
	提供数据质量校验机制
通过数据“基准校核、多源校核”的机制保证了数据的基准性、准确性。
4应用效果
通过数据交换平台实现了高效、便捷的数据汇集，保证数据的鲜活性，减少数据采集过程中对部委业务系统的干扰；结合基准校准和多元校核，保证国家人口基础信息库的基准性、准确性和权威性；最终将分处各地、不同网络环境、不同层级的人口数据库的信息及时、准确、完整的同步至公安部人口信息中心库中，为进一步的信息系统建设服务提供了权威的数据支撑。

全国职业招聘信息指标采集平台

1、客户介绍
	全国职业招聘信息指标采集平台是由人力资源和社会保障部主导建设的项目。人力资源和社会保障部的组建，旨在更好地实施人才强国战略，充分发挥我国人力资源优势，建设人力资源强国；同时统筹机关和企事业单位人员管理；完善机关和企事业单位收入分配制度改革；整合人才市场和劳动力市场，建立统一规范的人力资源市场，促进人力资源合理流动和有效配置；统筹全社会的就业和社会保障政策，建立健全从就业到养老的服务和保障体系。  
2、面临挑战（客户需求）
	随着时代的发展，人力资源供需双方的业务需求明显增多。为了更好的服务于就业市场，让企业找到合适的人才，让就业者找到心仪的企业，人社部计划建设全国职业招聘信息平台并优化当前的数据采集模式，实现全国就业信息及时的统一采集、发布。
	当前客户面临的主要问题：
一、全国信息汇总的工作量巨大
	职业介绍业务工作量急剧增加，导致职业介绍数据指标项监测工作繁重。
二、标准不统一
	由于各个地区业务属性的差异性，以及各个地区建设周期的差异性导致了信息交换缺乏统一的标准、规范。 
三、数据汇总不及时
	上报环节过多，很多环节无法实现自动化，需要人工线下完成数据搜集和上报，导致数据上报不及时。当前全国数据汇总一次的周期约5天。
四、数据准确性不足
	汇总的信息经常存在数据重复、不完整、不准确等问题。

3、解决方案
	平台系统采用DataExchange数据交换平台为核心进行软件开发，通过该平台实现部中心端从省、市交换区定时抽取数据，最大程度地保证了抽取的实时性、传输的安全性，并提供在线监控、远程管理，为整合、复用异构信息系统的数据资源提供了良好方法。有效的解决了当部级数据中心与各个地市数据中的数据库表结构异构的情况下，数据的抽取、转换、传输、汇总；同时也实现了跨网络、跨地域、自动与手动并行的数据传输模式。
 
	产品应用场景：
 
1, 从链路上分，系统分为内网与外网两大链路，并分别部署数据采集平台
2, 外网链路中，由外网控制台发布指令，数据由各市外网节点，通过SaCa DataExchange产品汇总到外网控制平台中。
3，部端与地市直连的情况下：由内网控制台发布指令，数据由各市内网节点通过SaCa DataExchange产品汇总到内网控制平台中。
4，部端通过省级交换中转的情况下：由内网控制台发布指令，省级交换中心接受到指令后转发至地市节点