DataX Web分布式数据同步工具
DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提供终止同步功能,集成并二次开发xxl-job可根据时间、自增主键增量同步数据。
任务"执行器"支持集群部署,支持执行器多节点路由策略选择,支持超时控制、失败重试、失败告警、任务依赖,执行器CPU.内存.负载的监控等等。后续还将提供更多的数据源支持、数据转换UDF、表结构同步、数据同步血缘等更为复杂的业务场景。
Architecture diagram:
项目部分截图
评论
py-mysql-elasticsearch-syncMySQL-ElasticSearch 数据同步工具
一个将 MySQL 的数据同步到 ElasticSearch 的工具。首次初始导入基于mysqldu
py-mysql-elasticsearch-syncMySQL-ElasticSearch 数据同步工具
0
lsyncd数据同步工具
Lsyncd监视本地目录树事件监视器界面(intify或fsevents)。它会汇总并合并事件几秒钟,然后生成一个(或多个)进程来同步更改。默认情况下,这是rsync。因此,Lsyncd是一种轻量级的
lsyncd数据同步工具
0
pg_rewind数据同步工具
pg_rewind是一个同步PostgreSQL数据目录的工具,其结果等同于用rsync同步第一数据目录。pg_rewind的优点是,它用WAL来确定更改的数据块,不需要在集群里读取所有文件。当数据库
pg_rewind数据同步工具
0