基于神经网络处理器的视觉计算AI芯片项目可行性研究报告
思瀚产业研究院    2023-11-16

国家产业政策大力支持推动，为项目的实施提供了有利的政策环境。为把握人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国，我国近年来推出了多个支持和鼓励人工智能产业发展的相关政策，推动人工智能技术应用发展。

2017 年 7 月，国务院发布《新一代人工智能发展规划》，从国家层面制定未来十年人工智能的战略部署。2017 年 12 月，工信部发布《促进新一代人工智能产业发展三年行动计划（2018-2020 年）》，提出加快建设和不断完善智能网联汽车、智能语音、智能传感器、机器人等人工智能相关领域的制造业创新中心，设立人工智能领域的重点实验室。

2019 年 8 月，科技部发布《国家新一代人工智能创新发展试验区建设工作指引》，提出有序开展国家新一代人工智能创新发展试验区建设，推动新一代人工智能健康发展。在国家产业政策大力支持推动下，我国人工智能产业正迎来良好的发展契机。

本次项目的实施将提高公司人工智能算法、芯片技术水平，推动公司的产品服务体系升级迭代，面向数字城市和人居生活等业务场景建设提供核心系统产品和整体解决方案，属于国家政策鼓励支持的投资项目，从而为本次项目的实施提供有利的政策环境。

强大的技术研发能力，为项目的实施提供了坚实的技术支撑。公司自成立以来就专注视觉人工智能芯片、算法等领域的研发，积累了较强的技术实力和研发能力，立足于对下游应用场景的深刻理解，公司已发展成为业内仅有的几家同时集 AI 芯片、算法和解决方案研发和产品化能力于一体的技术领先型企业。

云天励飞自成立起就深耕人工智能领域，搭建了人工智能算法平台、人工智能芯片平台，并具备了算法芯片化能力，面向下游场景提供“端云协同”的 AI 产品及解决方案。截至 2022 年 6 月 30 日，公司已取得 446项专利（含境外专利 17 项），其中发明专利 295 项、实用新型专利 22 项、外观设计专利 129 项，已登记的软件著作权 159 项，相关发明专利覆盖了人脸识别软件算法、图像处理技术、人工智能芯片设计等计算机视觉及人工智能核心技术领域。

公司技术研发实力得到行业认可，获得业内多项殊荣。此外，公司采取自主研发与合作研究相结合的科研模式，广泛建立合作关系，进一步加强了公司的技术研发实力，为本次项目的实施提供了坚实的技术支撑。

丰富的产品服务开发及落地经验，为项目的实施提供了经验支持。公司拥有对人工智能产业的深度理解，自成立以来即秉持“端云协同”的技术战略，专注于人工智能产业链各环节相关技术的研发与创新。发展至今，公司已构建了融合算法、芯片、智能软硬件产品及解决方案在内的视觉人工智能研发及商业化落地能力。

公司是业内率先实现动态人像系统大规模落地的公司之一，已在智慧安防、城市治理、交通服务、人居生活、商业零售等领域实现了大规模场景的业务落地。公司所积累的丰富行业经验及对各场景的深刻理解，能够为公司未来技术研发及产品开发提供重要支持，使公司提供的产品及解决方案能更好满足下游客户的核心需求。公司的大规模场景工程化能力，能帮助公司在未来的城市级解决方案构建中，实现更高效的方案落地。

目前，公司在深圳、东莞、青岛、成都、杭州等重点城市及其辐射区域已经形成了规模化项目落地，扎根重点城市为公司后续持续产生业务收入提供重要保障，公司产业化规模随公司业务范围扩张而逐年增长。公司丰富的产品服务开发及落地经验，将为本次项目的实施提供了经验支持。

高素质的专业人才团队，为项目的实施提供了人才基础。

公司自成立以来注重技术研发团队的建设，截至 2022 年 6 月末，公司拥有一支覆盖人工智能算法、人工智能芯片、大数据处理三大技术平台的 511 人的研发团队，公司创始人陈宁曾获得深圳市国家级领军人才、第十六届广东省青年“五四奖章”等荣誉称号，曾任中兴通讯 IC 技术总监。公司首席科学家王孝宇，曾任 SNAP 首席研究科学家。截至报告期末，公司研发团队中，有 167 人拥有硕士及以上的相关学历。

报告期各期，报告期各期，公司的研发投入分别为 19,996.55 万元、21,921.48 万元、29,512.46 万元和 14,670.60 万元，占营业收入的比例分别为 86.79%、51.42%、52.17%和 79.13%。在研发制度方面，公司建立了科学、完善的技术研发制度，并通过股权激励等方式与技术研发人员分享公司经营成果，能够有效调动技术研发人员的积极性与创新性。优秀的研发团队带头人、持续的技术研发投入、完善的研发制度是公司实施本次项目的重要保障。

1、项目基本情况

通过本项目的实施，公司将在现有的核心技术及研发平台基础上，加大软硬件设备、研发人员、芯片试制等研发投入，对“新一代 AIoT 神经网络处理器边缘计算芯片”及“新一代高密度视频智能处理 AI 芯片”进行技术研发。一方面，公司拟研制面向边缘视觉应用的高能效比、高性价比视觉 AI 芯片及配套软

件；另一方面，研发端云一体的新一代 AI 神经网络计算指令集、处理器架构和处理器 IP，开发包括芯片工具链、软件开发包等组成的配套全栈软件开发平台，并研制适用于城市级视频智能处理云计算场景的强算力、高能效、高性价比云端芯片及配套软件。

2、项目建设内容

（1）新一代 AIoT 神经网络处理器边缘计算芯片

1）新一代 AIoT 神经网络处理器架构

①人工智能神经网络计算指令集

深入研究面向边缘视觉应用的主流神经网络算法模型，在公司现有 VLIW& SIMD 混合计算指令集基础上，进一步扩展和优化，升级迭代成为针对边缘和终端视觉应用更具能效比和灵活性的智能神经网络计算指令集，从而更好地满足边缘和终端视觉应用场景需求。

②人工智能神经网络处理器架构

在现有端云一体指令集基础上，对松耦合、近存储的处理器体系架构进行研究。通过松耦合设计，使各计算单元能够动态地、灵活地进行任务分配，从而实现对不同应用场景下算法模型的有效支持；通过近存储设计，进一步优化人工智能神经网络计算任务的片内数据搬运，降低访存开销，从而提升能效比。

2）新一代 AIoT 神经网络处理器系统架构

①异构多核并行计算架构

研究通用嵌入式处理器、人工智能神经网络处理器、视觉处理加速单元和视频编解码加速处理单元等多核协同工作机制，提升芯片计算效率。

②芯片低功耗设计技术

研究适用于端侧视觉计算芯片丰富应用场景的低功耗设计方法，包括时钟动态关断、多电源分区以及动态电压频率调整（DVFS）等技术。

③片上互联技术

研究芯片的片上互联结构和通信机制，优化片上互联机制对传输时延和带宽方面的影响。

3）视觉处理关键技术

①视频、图片编解码技术

研究视频、图片编解码底层设计方案，一方面减轻片上通用处理器工作负载，另一方面通过码率控制、感兴趣区域等多种手段缓解存储压力。

②视频前后处理技术

研究图像信号处理（ISP）的关键核心技术，包括宽动态范围（WDR）、3D降噪等，从而提升全场景下视频图像质量效果。

4）软件开发平台

软件开发平台重点解决异构环境下的统一编程和部署的问题。

①人工智能神经网络处理器工具链

打造开源开放的芯片工具链，支持 Caffe，MxNET，TensorFlow 等主流深度学习框架，主要包括量化工具、编译器和 Runtime等功能组件。

②芯片软硬件体系协同优化

研究多种应用场景下智能计算任务的动态分配机制，建立智能计算任务和硬件计算单元间的动态映射关系，从而实现芯片软硬件体系协同优化工作，提高芯片的能效比。

（2）新一代高密度视频智能处理 AI芯片

1）端云一体的新一代人工智能神经网络计算指令集

通过深入研究面向各类计算机视觉应用场景的多种类型深度学习算法模型、语音、NLP 深度学习算法模型以及传统机器学习算法，提取通用的计算算子和计算特性，定义支持高效推理、端云一体、满足城市及社区高性能人工智能计算加速需求的人工智能神经网络计算指令集。

2）新一代人工智能神经网络处理器架构及处理器 IP 及开发平台

①新一代人工智能神经网络处理器架构及处理器 IP

在端云一体新一代人工智能神经网络计算指令集基础上，研究松耦合、近存储的处理器体系架构。通过松耦合设计，使各计算单元能够动态地、灵活地进行任务分配，实现对各类计算机视觉算法模型的有效支持，同时兼顾语音、NLP 深度学习算法。通过近存储设计，进一步优化人工智能神经网络计算任务的片内数据搬运，降低访存开销，提升能效比。

②全自动化的人工智能神经网络处理器开发平台。

研究集硬件 RTL 代码生成、功能验证、性能评估、编译、仿真调试为一体的自动化平台开发。实现快速交付定制化算力的人工智能神经网络处理器 IP，实现分层架构性能评估平台，包括模拟器、性能仿真器等，并对定制生成的单核和多核 IP 进行前期性能评估。

3）异构环境下的统一编程和部署的软件开发平台

打造开源开放的芯片工具链，支持 Caffe，MxNET，TensorFlow 等主流深度学习框架，主要包括量化工具、编译器和 Runtime 等功能组件，并集成深度学习开发库、SDK 软件开发包、功能调试工具、性能调试工具等，具有面向云侧数据中心部署的软件接口，方便业务的开发、迁移和调试优化。

4）高密度大算力视频智能处理的异构系统芯片架构

针对高密度大算力视频智能处理在控制、计算、缓存、存储和数据通信等各个方面的系统性能需求，结合产品实际部署场景对功耗和运行效能的系统效率需求，设计面向视频图像高密度处理、兼顾神经网络计算效率和系统功耗平衡的异构多核系统架构；综合运用多层次的片内存储结构设计，优化各个功能模块之间的总线连接和流水调度方式，研发宽动态可调节的系统和模块运行时钟，在兼顾芯片成本和良率等多种因素约束下，达到高性能、高能效、可适应多种应用场景的研发目标。

5）高密度多路视频图像编解码模块的集成与验证

为了加快视频智能处理芯片的设计效率和缩短设计周期，该芯片拟集成多路视频图像编解码模块。在高密度视频图像处理业务下，为了减轻云端推理芯片与通用处理器系统之间的数据吞吐需求，云端推理芯片内部集成视频图像编解码模块，负责对输入压缩视频和图像进行解码处理，为后续视频智能处理提供数据输入，支持对完成视频智能处理的视频片段或图像进行编码输出。

6）高速数字接口模块的集成与验证

为了加快视频智能处理芯片的设计效率和缩短设计周期，该芯片拟集成多个高速数字接口模块，其中包括，与通用处理器系统进行高速数据交换的先进总线接口 PCI Express 4.0（PCIe Gen4）和 PCI Express 5.0（PCIe Gen5）；与外部动态存储器（DRAM）进行接口的高带宽 DRAM 控制器接口等。

7）智能视频分析芯片的配套软件开发与部署组件

为了加快视频智能处理芯片产品解决方案产业化应用和部署，针对智能视频分析芯片产业化落地应用的需求，基于公司已有的人工智能全栈软件平台，将研发与芯片配套的软件开发框架，视频智能处理组件，以及产品通用部署工具。

3、项目投资概算

本项目预计建设期为 48 个月，项目总投资 50,088.60 万元。

4、项目环境保护情况

本项目不会产生工业废水、废气、废渣与噪声等，不会对环境产生污染。

5、项目实施地点与时间进度安排

本项目拟在深圳市南山区及公司上海、南京、西安、成都研发中心开展相 关的研发工作。项目的实施进度划分为以下几个阶段：设备询价及采购、设备 安装及调试、人员招聘及培训、项目持续研发、流片试产等 5 个阶段，预计项 目建设期为 48 个月。