面向场景的下一代AI技术研发项目可行性研究报告
思瀚产业研究院 云天励飞    2023-11-16

1、项目基本情况

通过本项目的实施，公司将在现有的核心技术及研发平台基础上，加大软硬件设备、研发人员等研发投入，对“下一代高效多模信息感知引擎”及“下一代多维大数据融合与推理”进行技术研发，为公司现有业务的升级及未来业务落地提供底层算法技术支持。

一方面，在现有的视频全结构化技术基础上，提升相关算法的处理速度和精度，并结合三维场景信息，音频信息等其他模态的信息来提升传感器信息流中语义和非语义信息的结构化密度，从而为相关产品及服务在更多应用场景的落地提供算法技术支持，同时为大数据推理系统等相关技术的发展提供更多上游结构化信息；

另一方面，在公司核心视频分析技术基础上，融合多方来源的数据，实现更加智能的大数据自动推理分析，最终输出多维信息融合的高价值情报，从而赋能各行各业的大数据落地应用。

2、项目建设内容

（1）下一代多模信息感知引擎技术研发项目

本项目拟在原有的视频全结构化技术基础上，成倍提升相关算法的处理速度和精度，并结合三维场景信息，音频信息等其他模态的信息来提升传感器信息流中语义和非语义信息的结构化密度，从而为相关产品及服务在更多应用场景的落地提供算法技术支持，同时为大数据推理系统等相关技术的发展提供更多上游结构化信息，具体将从以下几个方面开展研发工作：

1）高性能计算中心建设

①设计规划并建设满足本项目和大数据项目研发需要的 10P 量级算力的计算中心，支持通用计算和深度学习专用异构计算

计算中心的通用算力包括但不限于 x86 通用架构和 Arm 架构通用计算中央处理器，深度学习专用算力加速器的采购范围包括国际品牌 GPU 加速卡系列，国内自主知识产权加速器或基于自研云端芯片的加速器产品。

②支持算力中心运行的配套硬件设施

包括但不限于供电、制冷、防火、安保系统，以及满足计算中心与研发办公区互联互通的网络设备以及操作终端设备。

③采购及开发支持计算中心使用的配套软件。

由于硬件基础设施项目建设周期长，但研发的计算资源变化较快，本项建设在实施过程中不排除使用公有云租赁的形式快速获取计算资源，以满足高峰时期的计算需求。

2）高效骨干卷积神经网络搜索与设计技术

①适用于通用平台的骨干网络设计技术

该类技术将通用神经网络加速设备进行黑盒化处理，将网络模型在设备上运行的总时间，总存储消耗，以及在典型视觉任务上的模型预测精度为典型指标，使用网络搜索技术来发现在通用平台上更为高效的神经网络骨干模型，提高依托骨干网络模型开发的视觉任务模型在通用加速器上运行的速度和预测精度。

②针对公司自研神经网络处理器的骨干网络设计及搜索技术

结合公司自研芯片的理论设计原理图、配套的仿真测试工具以及工具链软件，将自研芯片白盒化处理，在优化总存储、总运行时间的同时，监督和优化处理器内核的空闲时间以及存储开销等，从而进一步优化骨干神经网络的速度和精度，为公司自研芯片驱动的内外部产品提供更高的市场竞争力。

3）弱监督与半监督学习技术的开发与系统落地

①研究基于弱监督学习技术的网络预训练技术

充分利用网络公开的海量未标注数据，训练不预设用途的通用网络模型，为各类具体视觉任务模型的训练提供更优的基础网络与预训练模型，从而减少各类具体视觉任务模型训练的数据标注需求，降低算法开发成本。

②研究开发基于强化学习以及增强学习的半监督化算法模型训练技术

综合数据挖掘、高效数据标注等多种技术，研发适合长尾应用开发的低成本模型训练技术与训练流程，充分降低长尾应用的模型开发成本和开发时间。

③升级现有产品后台系统并新开发配套工具软件

实现在重点项目和新业务项目部署后，针对客户数据特点进行算法模型在现场的低成本快速适应性训练，从而进一步提升算法模型在工程落地现场的使用效果，提升用户体验。

4）以人为中心的目标分析算法技术开发

结合“高性能计算中心建设”及“高效骨干卷积神经网络搜索与设计技术”的研发成果，增强现有视频结构化等相关算法功能的精度和速度，并进一步以人为中心加深和开拓扩算法覆盖范围，开展人员精细化语义分割，精细化动作识别，人人、人车、人物交互关系检测等新任务模型研发，进一步赋能产品线开发新应用，并开发针对人员活动场所的低成本自动化 3D 场景建模技术，为人员行为分析提供更为丰富的上下文信息。

5）音视频结合的场景分析与情感分析技术开发

结合学术界最新进展，探索综合音视频多模态的场景态势感知分析技术，开发拓展以交通、防爆、应急等细分领域为应用背景的大场景视频分析技术；结合认知科学、情感计算领域的最新进展，开发使用多模态数据的用户情感分析技术，进一步提升使用大数据技术进行用户画像等应用的体验。

（2）下一代多维大数据融合与推理技术研发项目

下一代多维大数据融合与推理技术研发项目是在国家大力发展新基建和数字城市建设背景下，结合公司在智能视频处理等技术的积累对核心数据分析技术需求所提出。

在大数据时代，单一数据源已越来越难以满足各领域日益复杂问题的需求。以视频数据为核心，再广泛融合社会数据，形成多维融合碰撞的数据治理机制，是下一代人工智能落地应用的主要发展方向。

本项目拟在公司核心的视频分析技术基础上，融合多方来源的数据，实现更加智能的大数据自动推理分析，最终输出多维信息融合的高价值情报，从而为各行各业的人工智能、大数据技术应用落地提供技术支持，具体将从以下几个方面开展研发工作：

1）多维数据融合的档案关联分析技术

①适用于不同结构数据的档案图模型

在数字城市、智慧城市建设的背景下，不同源的数据需要进行结构化并归类。通过建立通用的归类技术，可以对人、物等不同实体进行档案化，并通过使用大规模图模型，建立不同实体的信息交换关系和一般规律，将为大数据的数据融合推理提供底层支撑。

②基于大规模图模型和少量标签的分类模型

大规模图模型是大数据的重要表现形式。通过大规模图模型，可以对大数据的特征进行汇聚和增强。通过采集少量的标签，设计大规模图模型的目标函数，可以对所有的图节点进行分类。

2）多维数据融合时间序列预测技术

①深度神经网络时间序列预测模型

传统的时间序列预测模型不能自动提取数据的关联特征。深度神经网络在自动提取特征方面具有非常大的优越性。针对时间序列设计专用的深度神经网络，使得所设计的模型能够深层次挖掘数据的内在特征。

②基于时间序列的自注意技术

时间序列数据的重要难题是数据的不平稳性。通过自注意技术，可以调整模型对重要的序列数据进行特征增强。基于时间序列的自注意技术可以赋能公司未来大数据应用的落地场景。

③多维时间序列融合预测模型

多维时间序列的同步预测将不同维度的数据进行学习和融合，为多任务和多场景的大数据推理提供技术支撑。多维数据的融合预测将赋能公司视频数据的落地应用，并丰富公司的产品功能。

3）多维线下数据的智能推荐系统

①基于线下视频结构化数据的智能推荐系统

线下视频结构化数据是一类非常重要的数据类型。该类数据包含了人员的一般出行规律、消费规律等重要信息。建立基于线下视频结构化数据的智能推荐系统，能够为公司在智慧商业领域业务赋能。

②多维线下数据智能推荐技术

以线下视频结构化数据为核心，融合人员的个性化数据和群体特征数据，研发线下智能推荐的核心引擎。多维线下数据的智能推荐技术的落地使用将推动改变现有的商业模式，推进数字城市和智慧城市的发展。

4）快速多维大数据融合推理平台

①快速多维数据融合技术

构建多维数据的治理引擎，包含对不同源数据的快速清洗和结构化，并建立模型对不同维度的数据进行特征消融和选择。快速响应大量数据的分析结果，对于不同尺度的数据输入，能够以秒级反馈数据治理和融合结果。快速多维数据融合将为公司的大数据实时分析提供核心技术支撑。

②多维大数据融合推理平台

基于“多维数据融合的档案关联分析技术”和“多维数据融合时间序列预测技术”的核心技术，构建多维大数据融合平台。在用户自定义的需求和准确率的条件下，该平台自动挖掘和推理高价值情报，为公司在数字城市等领域业务提供核心技术支撑。

3、项目投资概算

本项目预计建设期为 48 个月，项目总投资 30,010.00 万元。

4、项目环境保护情况

本项目不会产生工业废水、废气、废渣与噪声等，不会对环境产生污染。

5、项目实施地点与时间进度安排

本项目拟在深圳市南山区及公司成都研发中心开展相关研发工作。项目的实施进度划分为以下几个阶段：设备询价及采购、设备安装及调试、人员招聘及培训、项目持续研发等四个阶段，预计项目建设期为 48 个月。