大数据采集行业发展趋势
思瀚产业研究院    2023-01-16

A.大数据行业应用的深入促进大数据采集需求日益增长

在政策和技术的双重驱动下，我国大数据产业规模快速增长，大数据应用的行业也越来越广泛，从互联网行业向金融、医疗、政务、教育等各行各业拓展。根据中国信通院发布的《大数据白皮书 2020》，2019 年我国以云计算、大数据技术为基础的平台类运营技术服务收入 2.2 万亿元，其中，典型云服务和大数据服务收入达 3284 亿元，提供服务的企业达 2977 家，大数据产业发展日益壮大。

数据采集是大数据在各行各业应用并且创造价值的前提。随着大数据的行业应用不断深入，物联网、智能家居、数字政务等领域的大数据技应用逐渐成熟，数据采集的需求也将被逐步激发，带动数据采集软件及服务的市场规模日益增长。

B.大数据采集环节更加注重异构数据源兼容性

随着数据量的指数增长，数据的存储、计算、部署等方式都在同步变化，各行业的业务系统也变得越来越复杂。以银行为例，金融业是我国信息化程度最高、信息技术应用最密集的行业之一，在数据爆发式增长、数据库国产替代、数据中心建设等大背景下，银行的业务系统由单一系统逐渐演变成按业务、按部门划分的复杂系统群，数据库类型开始由 Oracle、DB2 数据库变得更加多元，数据中心规模持续扩张、逐渐云化，最终形成了复杂而庞大的业务系统和数据架构。

日益复杂的业务系统和数据架构形成了数据结构、存取方式、形式不同的异构数据源，对大数据采集的异构兼容性提出了更高的要求。工信部发布的《“十四五”大数据产业发展规划》中明确提出，以构建稳定高效产业链为主要目标，在数据生成采集环节，着重提升产品的异构数据源兼容性、大规模数据集采集与加工效率。

C.大数据采集的安全与隐私保护需求持续上涨

近年来，我国大数据的安全与隐私保护需求持续上涨，大数据采集过程中的安全流通和隐私计算技术也愈发得到重视。随着大数据的不断发展和应用，越来越多的安全问题随之浮现。在数据采集过程中，第三方可能在采集传输数据过程中截获、伪造数据，不但造成了用户隐私、敏感数据泄露的严重后果，同时也影响了政府、企业后台数据分析的准确性。因此，在大数据采集及预处理过程中，除了假流量数据清洗、正常数据补全、无效数据剔除外，还存在数据格式化、数据隔离、数据加密、数据脱敏和攻击识别等需求。

根据中商产业研究院统计，近年来我国网络安全市场规模持续增长，从2016 年的 269.5 亿元增长至2020 年的 531.9 亿元，2021 年将达到 649.7 亿元，有望带动大数据采集的安全与隐私保护市场的持续扩容。

编辑：如皋

责任编辑：赵佗

来源：英方软件 思瀚产业研究院