数据复制软件行业在新技术方面的发展情况和发展趋势
思瀚产业研究院    2023-01-16

（1）数据复制技术发展现状

数据复制技术主要包含了数据抓取、数据传输和数据复原三个环节。数据抓取环节主要指对生产端的变化数据进行识别和提取，要求识别颗粒度细且对生产系统影响小；数据传输环节主要指对数据进行分段拆分组合、加密、压缩等，实现准确、高效、安全的数据传输；数据复原主要指目标端的数据接收和数据写入，其核心在于快速写入的同时，保证数据的一致性。

根据获取数据的层级不同，数据复制软件可分为存储硬件层复制、操作系统层复制和数据库层复制，不同层级的数据复制技术在功能、性能上存在一定的差异，各有特点，适用不同的应用场景，具体情况如下：

①存储硬件层复制技术

存储硬件层复制主要指基于存储磁盘阵列之间的直接镜像，是通过存储系统内建的固件或操作系统，利用 IP 网络或光纤等传输介质连结，将数据以同步或异步的方式复制到目标端。

存储硬件层复制的优势在于复制工作仅在存储硬件层面进行，与操作系统层无关，因此可以避免服务器的性能开销过大的问题，适用于关键任务和高端交易应用，也是目前最广泛用于容灾场景的数据复制技术之一。存储硬件层复制的劣势在于主要适用于同品牌且同型号的同构存储系统，并需配备低延迟和大带宽的物理链路，成本较高，给异地复制带来极大困难。

存储硬件层的复制技术通常依赖于特定存储硬件，因此使用该技术的主要是存储硬件厂商，代表产品为 DELL EMC 的 SRDF 软件、IBM 的 PPRC 软件等。

②操作系统层复制技术

根据数据捕获环节的不同，操作系统层复制可以分为字节级复制和块级复制。

字节级复制技术是指对生产服务器文件系统的 I/O 操作信息进行实时捕获，生成序列化 I/O 操作日志并发送至目标服务器，操作日志包括 I/O 操作发生的时间、发起的进程、操作具体针对的文件、文件具体操作的位置以及操作的内容。目标服务器收到 I/O 操作日志后进行数据的写入，完成数据复制。该技术具有对计算机资源占用小、复制颗粒度细等优势，能够实现高实时性的数据复制，在容灾以及持续数据保护领域有较强的优势。

块级复制技术是指在生产服务器的文件系统之下和磁盘驱动之上的卷层设置驱动模块，实现磁盘数据变化的捕捉。通过对生产服务器磁盘空间进行划分，构建磁盘位图，将发生数据变化的位图信息发送至目标服务器并与前次位图信息进行整合，实现数据的复制。和字节级复制相比，块级复制颗粒度较粗，单次传输数据量较大，适用于具有海量文件的文件系统或者非标准化文件系统的场景，在定时备份领域具有较强的优势。

操作系统层复制技术由于不受底层存储型号的限制，可以实现跨物理、虚拟、云等复杂环境，是第三方数据复制软件企业主要使用的技术。部分存储硬件企业在发展过程中，通过不断收购第三方数据复制软件企业，也拥有了较成熟的操作系统层复制技术。

③数据库层复制技术

数据库层复制通常采用逻辑复制的方式，将源数据库中的重做日志和归档日志解析出 SQL 语句后，发送至目标数据库，在目标数据库上重做 SQL 语句实现数据复制。逻辑复制的优点在于可以实现不同品牌数据库之间的数据复制，且能实现数据库读写分离、多活，适用于各种数据库数据容灾、高可用、读写分离等场景。

数据库层复制技术的参与者主要包括数据库复制企业和第三方数据复制软件企业。

④数据复制技术对比

（2）数据复制技术发展趋势

①软硬件解耦的数据复制技术

数据复制技术最早是由存储硬件及数据库厂商开发，作为其存储硬件或数据库软件的辅助工具，通常与存储硬件或数据库绑定，只能用于本公司的存储硬件或数据库之间的数据复制。其优点在于对本公司的存储或数据库产品的兼容良好、稳定性高、数据复制速度快，但在灵活性和可扩展性上有所欠缺。

随着信息技术的发展，各行业信息系统不断升级和迭代，存储及数据库类型多样化，数据量的提升也带来了分级存储、分级备份的需求，与硬件或数据库绑定的复制技术功能单一、缺乏灵活性等缺点逐渐显现。软硬件解耦的数据复制技术可以实现不同存储硬件、不同数据库之间的数据复制，在信息系统升级、数据分级存储等场景下具有较强的优势，有望成为未来数据复制行业的重要发展方向。

同时，在国内信息系统软硬件安全可信的趋势下，国产存储设备和数据库纷纷涌现，软硬件解耦的数据复制技术也将在信息系统国产化进程中发挥重要作用，加速国产化进程。

②云端数据复制技术

云计算相较于传统 IT 架构，具有资源配置效率高、运维难度低等优势。随着云计算技术和基础设施的逐步成熟，越来越多的企业开始迁移上云。数据复制技术也从本地数据复制向云端数据复制发展。

和本地 IT 架构不同的是，云计算架构将底层硬件设备虚拟化后形成统一的计算资源、存储资源和网络资源，企业在云端的业务系统均统一部署在数据中心的虚拟平台上，因此云端复制和本地复制相比，传输环境存在较大的差异，云端复制的传输具有带宽窄、传输不稳定等特点，对复制技术的压缩能力、断点续传能力提出了更高的要求。

同时，云端复制还需兼顾数据隐私问题，特别是在公有云的场景下，云供应商有较大的权限，可以对数据进行管理，因此在云端复制场景下，数据的脱敏、加密也是云端复制技术需要考虑的重要问题。

③大数据平台实时复制技术

大数据平台是为了满足大数据的存储、运算、分析、展现的软件平台，主要功能包括数据接入、数据处理、数据存储、查询检索、分析挖掘、数据集成等。

大数据平台拥有特殊的文件系统、数据库及数据处理模块，以适配大数据的查询、存储和计算。以 Hadoop 为例，Hadoop 平台采用 HDFS 分布式文件系统和 HBase 分布式数据库，通过 Hive 数据仓库进行数据的存储、查询和分析，与传统的数据库结构存在较大的差别，因此传统的数据库数据复制技术无法实现大数据平台间的数据实时复制，亦无法实现由传统数据库向大数据平台的数据实时复制。

随着大数据技术不断演进和应用持续深化，以数据为核心的大数据产业生态正在加速构建。大数据平台作为基础工具，将随着大数据行业应用的不断深化，得到越来越广泛的应用。同时，传统数据库中的数据也将越来越多地汇聚至大数据平台，进行数据分析挖掘等，以发挥更大地数据价值。因此，大数据平台实时复制技术是未来数据复制行业的重要发展方向之一。

编辑：如皋

责任编辑：赵佗

来源：英方软件 思瀚产业研究院