SDC ETL 融合数据软件是一款面向海量异构数据进行智能化抽取、转换、加载的工具,为用户数据集成提供支撑。公司自 2016 年起推出了 SDC ETL 产品,提供离线数据采集及任务运行调度监控功能。2018 年,SDC ETL 增加数据断点续传及数据传输加密功能,保障采集过程中数据安全传输。2019 年,SDC ETL 增加对国产数据库的适配和实时数据采集功能。
2021 年,SDC ETL 通过微服务改造,实现了产品的分布式部署,增强了在高并发、海量数据场景下的数据处理能力及稳定性,同时引入元数据智能驱动技术,实现了智能生成数据采集任务,提高了数据采集的实施效率。
SDC ETL 融合数据软件主要具备以下功能:
a)强大、灵活的数据接入能力。支持 100 余种多源异构数据接入,包括关系型数据库、MPP 数据库、大数据平台、NoSQL、文本、接口等;对于未来新增的数据源和数据类型,支持在线动态适配;
b)智能化数据采集能力。支持自动生成数据采集任务,相较手动配置或脚本开发等采集方式,大幅提高了实施效率。目前 SDC ETL 面向政府、教育、交通、能源、军工等重点领域,实现多源异构数据汇聚,保障实时数据需求,减少重复实施工作,赋能用户数字化转型。
应用案例:某国际机场专项服务项目
某国际机场客运量位居全球第 5、货运量连续 18 年全球第 1。随着该机场投入建设了“第三跑道”,业务量上升,用户对资源调配能力及效率的要求进一步提高,需要对机位使用情况、旅客、行李周转、机场内公共资源调度、机场周边公共交通情况等场景进行更有效的监控、监测。
面临的问题主要体现在监控该等场景所需的数据较为分散;地图数据、港铁数据、网站数据等核心数据无法接入;数据间难以开展实时融合。公司通过 SDC ETL 产品解决了上述问题,实现了多维数据融合场景分析。
数据接入层面,借助 SDC ETL 产品丰富的多源异构数据接入能力,项目累计汇聚接入 19 类、30 多亿条数据,覆盖机场航班、航路图、机位、旅客、行李、值机柜台、公共资源、地图数据、港铁数据、网站数据等信息。
数据处理层面,基于 SDC ETL 产品组件化的数据开发能力及高效的数据处理能力,项目按照业务场景及应用需求,将接入数据加工和处理时间提升到毫秒级,日均处理数据量规模达 5000 万,有效支撑实时数据及时展示于智能监控平台。
该机场借助 SDC ETL 高效的数据接入处理能力解决了用户信息系统底层数据分散、实时数据间无法融合、关键数据接入受阻等问题,为航班起降、机位占用、航站楼热点区域、机场周边交通客流监控等场景运营决策提供实时准确数据支撑。