Oracle/SQLServer/DB2/Mysql等数据库容灾备份软件服务
共 9226字，需浏览 19分钟
·
2020-11-19 15:05
产品亮点
产品说明
- SuperSync产品原理
目前此类软件没有相应的技术标准，因此特将SuperSync软件的原理展示给大家，作为评判的标准。
示意图：
如上图所示，SuperSync在Data Source端和Data Target端分别安装Agent进程，Source端的Agent进程对ORACLE日志进行监控，发现改变及时对目标数据库进行更新。
当应用系统在Data Source端向数据库进行任何操作时时，这些信息都将在Redo Log中保存，SuperSync Agent通过对实时获取的Log日志进行分析，获得本次操作的交易指令和交易数据，然后将这些交易指令和交易数据经过格式转化生成DXF数据格式，并实时通过网络传送到Data Target系统。
Data Target系统的SuperSync Agent接收数据库包，经过校验码检查，确认正确的数据库包后，调用Oracle函数按照交易的先后顺序在Data Target系统中执行该交易。
-
- 日志抓取（Data Capture）
SuperSync对数据的抓取是通过安装在Data Source端的Agent模块定时分析Oracle Redo Log来获取Data Source端的交易类型及数据的。
SuperSync Agent在判断Data Source端的Oracle系统是否有新的交易产生时是通过定期检查Oracle Controle file中记录的当前SCN号来判断的，这样避免每次检都通过读取log文件来判断否有新的交易产生时造成的系统影响。
在Controle file中确认有新的交易产生时，可以同时获得当前的Redo Log 组，以及最新日志在日志文件的最新位置。
SuperSync Agent模块根据这些信息将上次抓取时记录的日志位置与本次读取的最新位置之间的Log读取并加以分析。然后将这些数据保存在Online Log Cache文件中，等待下一步作交易合成处理。
- 的优势：
与其他类似日志复制产品相比，SuperSync对日志进行分析，得到交易信息再进行传送；而其他类似产品不对日志作分析，传送全部日志，然后在目标端通过日志作Recover， 这样一来，不仅传送数据量大，而且目标端数据库不能打开。
-
- 日志分析（Analyze）
Oracle数据库的所有更改都记录在日志中，其中记录了对数据库中的每一个变化。
当我们候需要需要了解数据库中所作的交易时，一个最有效实用而又低成本的方法就是分析Oracle数据库的日志文件。
SuperSync Agent中集成了DSG的优秀日志分析功能，该功能完全不同于oracle提供的Logminer日志分析工具，在性能和功能上都大大提高，主要体现在系统性能的优化上，大幅度提高日志分析的速度，使得对于高并发业务系统的复制成为可能。按照SuperSync的日志分析设计目标，每秒能够分析的日志量达到10M/s。
SuperSync通过对日志的分析，得到该数据库中的每个SQL指令，并将这些SQL指令生成DXF（DSG Extend Format）格式的表达方式。
DXF格式是DSG公司的专有技术，该技术是DSG公司用来表达SQL指令的方式，该数据格式能够通过DSG的专有转换算法能够直接转换为ORACL的内部数据表达格式，从而在分析和转载时需要最小的转化，提高分析和装载速度，减少资源占用、丰富能够表达的各种数据类型。
-
- 交易合成（Synthesize）
通过ORACLE REDO LOG分析的交易指令存在如下的几个特点：
（1）这些指令是交叉出现的，属于一个交易（Transaction）的多条SQL指令是非连续存储的，多个交易的SQL之间是相互穿插的；
（2）Redo log中记录了所有的commit的交易以及没有commit的交易；
所以，为了提高系统的可控制性、保证逻辑完整性、避免数据丢失，最好将复制的最小单位为一个交易（Transaction），而不是以单个SQL指令为复制单位，这样在Data Target端的交易装载更加容易控制。
同时，对于复制的数据而言，只有那些Commit的数据对于Data Target端系统是有意义的，而对于那些Rollback的数据无需复制到Data target系统上。
所以SuperSync在复制过程中不是复制每个SQL语句，而是对抓取的数据进行交易整合后以交易（Transaction）为单位进行复制，同时只复制COMMIT的交易。
如上图所示，在Online Log Cache文件中，包括Commit的交易，没有Commit的交易和Rollback的交易。交易合成模块首先按照交易序号对SOL语句进行划分，每个交易包含多条SOL语句。然后，以交易为单位进行处理，将已经Commit的交易，传至传输处理模块；将未提交的交易保存在本地，一旦通过日志得知保存的未提交交易已提交，立即将该交易发送到传输处理模块；对Rollback的交易作丢弃处理。
- 的优势：
SuperSync是以交易为单位进行传输的，而不是以SOL语句为单位进行传输的，更容易保证数据的一致性和完整性。
-
- 交易传输
SuperSync技术为了保证数据传输的安全、可靠，在传输处理上作了特殊的处理与支持:
- 数据在传输之前首先存入Data Source端的Cache，传输进程（Export Process）从Cache中读取交易数据封装为TCP/IP数据包传送给Data target端的Import进程。
（2）在data target端，Import进程在收到传输的交易数据包后，首先存入Queue，然后由Load进程从Queue中严格按照交易的顺序装载交易信息。
如上图所示，负责传输的进程（Export Process）从本地队列中按照先进先出的原则抓取需要传输的交易，将交易数据封装成一个数据包后通过TCP/IP协议传递给对端系统。在封装的数据包的包头部分描述了包的大小。
对端系统在接受到传来的数据包后，首先根据包头描述的包大小进行传输的合法性检查，判断是否传输完整。
-
- 数据装载
在传统的复制技术中，常用的数据装载方式是采用Oracle 的SQL接口，通过Insert、Update、Delete等SQL语句实现数据的装载。这种方式在通用性上很好，但关键在于性能问题非常突出。
SQL语句的执行需要经过parse、plan、格式转换等过程，造成大量的系统开销。尤其是update和Delte操作的大量Where子句操作需要进行复杂的查询定位任务，从而导致装载性能低下，对处理能力的要求比生产系统的还高。
DSG SuperSync在设计之初就定位于电信级大数据量系统的应用，因此在装载性能上进行了大幅度的改善，使得装载端的性能和处理能力需求降至最低。
在其中DSG SuperSync采用了两个关键的技术提高了装载速度：
（1）采用DXF数据格式的装载；
（2）采用Rowid mapping的方式实现快速定位；
- 用DXF数据格式的装载：
DXF（DSG Extend Format）格式是DSG公司的专有技术，该技术是DSG公司用来表达SQL指令的方式，该数据格式能够通过DSG的专有转换算法能够直接转换为ORACL的内部数据表达格式，从而在分析和转载时需要最小的转化，提高分析和装载速度，减少资源占用、丰富sql语句的表达方式。
Oracle数据库系统在设计上提供了4个层次的接口，其中包括User层，SQL层，Transformation层和I/O层。其结构为：
在这四层当中，当采用SQL接口进行数据装载时，调用的是User层，
而DSG SuperSync通过DXF数据格式装载时，调用I/O层直接将数据通过Oracle的最底层函数写入系统中，所以DSG SuperSync在装载层上有一定优势；
- Row mapping实现快速定位
对于交易中的操作，存在着大量的Where子句操作，在采用标准SQL语句执行这些操作时，系统需要首先定位目标记录所在的数据文件的位置信息，这将带来大量的索引查询开销，当并发执行数千条指令时，系统的开销将变得非常庞大。
DSG SuperSync工具不采用该方式实现装载数据的定位，而是通过ROW Mapping的方式实现记录的快速定位：
当SuperSync从源端Log文件中读取交易数据时，将获得该交易对应记录的所在位置，用rowid表示为rowid_ds；
当该交易在目标端装载时，系统不翻译为Where子句，而是去通过保存在目标端的row mapping表获得对应目标端该记录的所在位置rowid，记录为rowid_dt。
从而在目标端装载时通过rowid能够直接定位于该数据需要写入的位置。避免了大量的索引查找时间。
每条记录的row mapping信息是在该记录执行insert操作、sql loader或首次批量同步时建立起来的。
产品参数
| 交付方式 | 服务类 |
| 质保时间 | 365天 |
| 交付时间 | 7工作日 |
产品截图
售后支持范围
产品资质
客户案例
电信行业：中国移动集团/网关、中国移动南方基地、中国移动手机阅读基地、中国联通集团、浙江移动、河南移 动、北京移动、上海移动、江西移动、湖北移动、江苏移动、广西移动、贵州移动、海南移动、青海移动、宁夏 移动、甘肃移动、黑龙江移动、西藏移动、辽宁移动、湖南移动、广东移动、重庆移动、陕西移动、安徽移动、 内蒙移动、广西电信、海南电信、黑龙江电信、山西电信、吉林电信、江西电信、山东电信、贵州电信、内蒙电 信、河北电信、新疆电信、福建电信、河南电信、澳门电信、印尼电信、四川电信、陕西电信、云南电信、安徽 电信、甘肃电信、宁夏电信、广东电信、杭州电信、印尼电信、广东联通、河南联通、上海联通、北京联通、辽 宁联通、江西联通、福建联通、广西联通、湖南联通、四川联通、江苏联通、内蒙联通、贵州联通、云南联通、 海南联通、黑龙江联通、吉林联通… 金融行业：中国金融期货交易所、中国证券金融公司、中国期货保证金中心、上海黄金交易所… ? 中国建行、中国银联、广发银行、徽商银行、华夏银行、贵州省农信、河南省农信、广西农信、湖北农信、 浙江农信、兰州银行、新疆建行、哈尔滨银行、武汉农商行、成都商行、天府银行、南粤银行、乌鲁木齐银 行、中国金融电子公司… ? 太平洋保险集团（集团、寿险、财险）、安邦保险、大地保险、天平保险、天安保险、华农保险、乐爱金保险、 泰山保险、瑞泰人寿、紫金保险、华泰保险、浙商保险、中邮保险、中航安盟保险、横琴人寿、泰康资产、 人保资产、民生通惠资管、中德安联人寿、德华安顾人寿、英大长安保险、富通保险、中宏保险… ? 富国基金、泰达宏利基金、银华基金、华泰柏瑞基金、易方达基金、金元比联基金、天宏基金、招商基金、 南方基金、中银基金、创金合信基金、嘉实基金…
迪思杰（北京）数据管理技术有限公司 DSG 高级总监 顾利斌 13910969468 gulb@dsgdata.com ? 国泰君安期货、鲁证期货、中银期货、东吴期货、信达期货、西部期货、中州期货、科信期货、中粮期货、 鲁能金穗期货、东航期货、东证期货、中原期货、中大期货、天鸿期货、西南期货、国元期货、英大期货、 国海期货、中衍期货、道通期货、广发期货、江信国际期货、弘业期货、招商期货… ? 中信证券、广发证券、平安证券、国泰君安证券、银河证券、申万宏源证券、华泰证券、东吴证券、民族证 券、国海证券、长江证券、西南证券、太平洋证券、国金证券、西部证券、山西证券、中投证券、新时代/远 大证券、上海证券、东兴证券、万联证券、金元证券、信达证券、中航证券、南京证券、国联证券、东海证 券、金通证券、中原证券、财达证券、国盛证券、广发华福证券、恒泰证券、湘财证券、华鑫证券、财富证 券、中天证券、财通证券、华欧/华信证券、中邮证券、德邦证券、爱建证券、华宝证券、联合证券、日信/ 国融证券、英大证券、诚浩/网信证券、大通证券、第一创业证券、开源证券、深圳证券信息、摩根华鑫证券、 国泰君安证券资管、申万宏源证券资管… ? 东航财务、一汽财务、中建财务、中航财务、中国电子科技财务、晨光纸业财务、银泰财务、兵装财务、海 亮财务、山东黄金财务、山东重工财务、现代汽车金融、长安汽车金融公司、重庆汽车金融、北京银商、易 鑫汽车金融、建信信托、国泰君安资产、中国人保资产、上海股权托管交易中心、重庆金融资产交易所、广 州产权交易所、青海股权交易中心、新疆股权交易中心、天津文化艺术品交易所、天津渤海商品交易所、东 盟海产品交易所、陕西股权交易所、重庆药品交易所… 政府机关：国家交通部、国家信息产业部、国家知识产权局、中国邮政集团、中国民航空管局、国家海洋局、中 国国际电子商务中心、中国金融电子化公司、国家博物馆、中国文联、中国扶贫办、全国组织机构代码管理中心… ? 新疆国税、陕西国税、重庆国税、广东国税、甘肃国税、青海国税、北京地税、河北地税、山西地税、福建 地税、重庆地税、江西地税、陕西地税、甘肃地税、西安地税、兰州地税、吉林财政、江西财政、山东财政、 湖北财政、宁夏财政、云南财政、武汉财政、南宁财政、扬州财政、滨海财政、塔城财政、阳泉财政、黄冈 财政、宜昌财政、宁江财政、荆州财政… ? 福建公安、江苏公安、广东公安、辽宁公安、吉林公安、四川公安、陕西公安、新疆公安、广西公安、浙江 公安、贵州公安、青海公安、甘肃公安、海南公安、云南公安、西藏公安、北京公安、广州公安、乌鲁木齐 公安、西安公安、银川公安、东营公安、德州公安、陇南公安、许昌公安、伊利公安、喀什公安、曲靖公安、 厦门公安、泉州公安、鄂尔多斯公安、内江公安、南京公安、无锡公安、南通公安、扬州公安、昆山公安、 宿迁公安、泰州公安、常州公安、徐州公安、黄山公安、温岭公安、奉化公安、舟山公安、营口公安、荆州 公安、佛山公安、河源公安、珠海公安、甘肃森林公安、广东交警、吉林交警、湖北交警、云南交警、甘肃 交警、青海交警、宁夏交警、深圳交警、顺德交警、佛山交警、海口交警、西安交警、沈阳交警、晋城交警、 东莞交警、禅城交警、舟山交警、温州交警、盐城交警、蚌埠交警、黄石交警、鄂州交警、恩施交警… ? 江苏省社保、山东省社保、浙江省社保、广东省社保、湖北省社保、青海省社保、吉林省社保、贵州省社保、
迪思杰（北京）数据管理技术有限公司 DSG 高级总监 顾利斌 13910969468 gulb@dsgdata.com 安徽省社保、重庆社保、新疆社保、四川社保、吉林省医保、宁夏社保、乌鲁木齐社保、哈尔滨社保、石家 庄社保、太原社保、东莞社保、南京社保、无锡社保、常州社保、南通社保、镇江社保、泰州社保、盐城社 保、连云港社保、淮安社保、扬中社保、句容社保、江阴社保、溧阳社保、海安社保、如东社保、太仓社保、 杭州社保、宁波社保、舟山社保、湖州社保、义乌社保、台州社保、路桥社保、桐乡社保、上虞社保、嘉兴 社保、安吉社保、余杭社保、诸暨社保、长兴社保、海宁社保、金华社保、浦口社保、兰溪社保、兴化社保、 泸州社保、烟台社保、日照社保、临沂社保、宜宾社保、荆州社保、攀枝花社保、巴州社保、甘孜州社保、 乐山社保、内江社保、德阳社保、眉山社保、南充社保、塔城社保、阿克苏社保、喀什社保、昌吉社保、伊 宁社保、哈密社保、巴音社保、鄂州社保、咸宁社保、黄冈社保、遂宁社保、绥中社保、白银社保、梅州社 保、北京医保、青海医保、西安一卡通… ? 河南省政府、湖北检疫局、四川就业局、四川农业、四川教育、黑龙江教育厅、安徽统计局、云南统计局、 广东商检、湖南国土厅、新疆工商、陕西工商、山东工商、安徽工商、甘肃工商、山西工商、成都工商、北 京公积金、南京公积金、杭州公积金、无锡公积金、遵义公积金、益阳公积金、通化公积金、庆阳公积金、 包头公积金、沈阳不动产、西安住建、南宁房管、哈尔滨房管、石河子房管、临海房管、衢州房管、泰州房 管、镇江房管、靖江房管、温州住建委、浙江省公路局、山东交通厅、吉林交通厅、辽宁交通厅、广西交通 委、北京交通委、深圳交通委、天津交通委、郑州交通委、徐州交通、江苏高速、江西高速、吉林高速、甘 肃高速、江苏航道局、建邺区政府、浦口区政府、盱眙城管、太仓市民卡、浙江省标准化研究院、吉林审计、 南昌国土、盐城国土、镇江国土、芜湖国土、嘉峪关国土、宿州纪委、云南农委、宁夏党委、河南总工会、 盱眙人防、白城智慧城市、合肥供水、沈阳燃气、六盘水牂牁景区、柯桥旅游、厦门市市场监督管理局、安 徽省食品药品监督管理局、甘肃机构编委、徐州交通、兰州车管、广东高检、陕西司法、河南检察院、黑龙 江高法、四川高法、杭州安全局、云南公安出入境、句容国土、太仓政法… 卫生教育： ? 浙江省卫健委、深圳卫健委、湖南省卫健委、长春医保、镇江卫健委、平湖卫生局、南浔卫生、太仓卫生局、 武进区卫生局、江宁卫生局、仪征市卫生局、长兴卫生、东阳卫生局、安吉卫健委、鄞州卫健委、嘉善卫生、 德清卫生、海盐卫生、高邮卫健委、颍上卫健委、滨海卫健委、山东大学、南京财经大学、南京农业大学、 河北大学、北方民族大学、北邮大学、河南科技大学、中国武警学院、西北工业大学、深圳图书馆、宁夏档 案馆… ? 北京中日友好医院、总后医院、江苏省人民医院、南京军区总院、江苏省第二中医院、解放军第四五四医院、 南京鼓楼医院、南京雨花医院、南京明基医院、南京红十字医院、南京妇幼医院、南京同仁医院、东南大学 附属医院、江北人民医院、无锡第四人民医院、常州中医院、南通人民医院、泰州二院、连云港一院、连云 港二院、连云港东方医院、徐州丰县医院、句容人民医院、堰桥医院、丹阳妇幼、宿迁妇幼、高邮人民医院、
迪思杰（北京）数据管理技术有限公司 DSG 高级总监 顾利斌 13910969468 gulb@dsgdata.com 靖江中医院、滨海县中医院、苏州明基医院、楚州中医院、浙江省中医院、浙江新华医院、浙江省荣军医院、 杭州中医院、杭州眼科医院、湖州中医院、温州七院、温州中西医、温州附二院、仙居医院、开化医院、镇 海医院、嘉兴一院、永嘉中医院、永康妇幼、北仑中医院、北仑人民医院、皖南弋矶山医院、黄山人民医院、 定远医院、上海中冶医院、新疆人民医院、新疆一附医、乌鲁木齐友谊医院、乌鲁木齐四院、石河子第一人 民医院、阿克苏医院、巴州医院、喀什人民医院、莎车医院、乌苏医院、玛纳斯医院、安阳市医院、重庆儿 童医院、开县医院、中卫医院、海口人民医院、黑龙江中医药大学医院、济宁医学院、第四军医大学医院、 西安交大医院、西安一院、西安儿童医院、宝鸡市中心医院、汉中中心医院、包头中心医院、包头医学院、 郑州大学附属医院、吉林大学二附院、四平人民医院、铜川人民医院、甘肃妇幼、紫阳医院、中卫人民医院… 企业集团： ? 国家电网、南方电网、中国国航、中国一汽、中石油、中石化东北石油局、中石化易金卡、中国铁建、中钢 集团、中国民航空管局、胜利油田、大港油田、北京公交集团、江苏广电、新疆广电、广西广电、辽宁广电、 洛阳广电、中信国安广视、青岛有线、北京铁路局、南昌铁路局、哈尔滨铁路局、兰州铁路局、沈阳铁路局、 石家庄铁路局、西安铁路局、呼和浩特铁路局、天津铁路局、乌鲁木齐铁路局、昆明中铁、广东电网、广西 电网、云南电网、贵州电网、海南电网、北京电力、四川电力、河南电力、江西电力、湖北电力、青海电力、 吉林电力、湖南电力、安徽电力、上海电力、宁夏电力、广州电网、深圳电网、华东电力、华北电力、天富 热电、厦门电力、靖远电力、白银电力、济南钢铁、醴陵电力… ? 格力集团、中国中车、家乐福、国美电器、蛇口码头、天津港、宁波港、大连港、唐山港、长城汽车、阿里 巴巴、巨石集团、浙江华数传媒、南方水泥、银泰百货集团、杭州金通、江苏波司登、中芯国际、华润微电 子、正葳电子、台达电子、亚旭电子、无锡尚德、江苏农垦、南京国旅、长航油运、苏通卡、日出东方太阳 能、苏果超市集团、广州 BOSS、佛山公共、富港电子、富强电子、唐山百货、廊坊明珠、鲁巷广场、临沂商 城、家有购物、合德物流、上海医药、嘉宝莉化工、天津滨泰能源、东港股份、酒钢集团、远大物产、三江 航天、OPPO 手机、广东景兴江苏环太集团、江苏大剧院、江苏省电子商务、广东景兴、黑龙江福彩、南京地 铁、三峡云计算中心、九鼎集团… BDMP 数据备份应用&备份一体机应用 解决大数据量高速备份/恢复的问题，如 1T 数据增备只需 30 分钟、支持单表恢复、备份数据打开验证、支持非归档等… ? 电信行业：中国电信集团、广西/新疆/青海/海南/贵州/宁夏/江西/河北电信、中国联通总部、北京/天津/重庆/ 广东/广西/河北/陕西/四川/江西/福建/吉林/青海/湖北/黑龙江/新疆联通、甘肃移动、宁夏移动、江西移动、青 海移动、新疆移动… ? 金融行业：中国金融期货交易所、银河证券、华泰证券、国联证券、西部证券、民族证券、东兴证券… ? 政府行业：宁夏财政、山西地税、宁夏电力、新疆公安、深圳交警、东莞社保、广州公安、湖南国土...