手机是端侧 AI 落地的最有力载体，30 NPU TOPS 算力或成基础门槛
思瀚产业研究院    2024-06-07

为什么我们要关注大模型落地智能手机？

根据 Canalys，智能手机的如下特征适合大模型落地：智能手机拥有庞大的装机量：把 AI 应用集成到智能手机端侧将有助于触及更广泛的受众。到 2023年，全球智能手机的总装机量将达到 50 亿部，远远超过笔记本电脑加上台式机的 14 亿台装机量。并且对于发展中市场和年轻一代而言，这一数量差距将会更加显著。

因为这部分群体大多已经跳过了个人电脑时代，更多使用移动原生应用进行内容消费和社交媒体活动。智能手机便携、使用场景多：口袋大小的尺寸能够使手机更适合各种日常用途，使用场景涵盖从通信到娱乐等多种需求。并且相比起在 PC 上更常用的生产力以及工作场景，手机相对日常的应用场景将会形成互补，从而帮助扩大 AI 在消费者数字生活中的影响力。

智能手机应用生态系统强大，可加速第三方 AI 应用成熟：与其他 IoT 设备（例如智能手表）相比，智能手机的应用市场生态更完善、应用开发者数量更多。强大的应用生态系统不仅有助于跨应用程序的无缝 AI 集成，也有利于通过茁壮发展的开发者社区创造多样化的第三方 AI 应用。

AI 手机定义：因大模型走向端侧的时日较短，产业界对 AI 手机的定义尚未统一，总体而言，都指向三个方面：

①能够在手机上端侧运行大模型；

②SoC 中包含 NPU 算力；

③满足一定性能的量化指标。

根据 Canalys，AI 手机应该满足以下标准：

最低要求：满足如下即可被称为“AI 手机”。

SoC 包含能够加速 AI 任务的专用单元（如高通 Hexagon、联发科 APU、Google TPU）。 智能手机应该能够在端侧运行 LLM（如 Google Gemini、三星 Gauss）和其他生产式 AI 模型（如Stable Diffusion）。

端侧 LLM 的推理性能应快于成人的平均阅读速度，相当于 10token/s（基于 LLaMa-2 7B 或同等水平）。

端侧 AI 生成图像的时间小于 2 秒（基于 Stable Diffusion v1.5，20 步，512*512 分辨率或同等水平）可选要求：可进一步提升用户体验。 设备出厂时应预装 LLM（如 Google Gemini、三星 Gauss）。

为第三方开发者提供生成式 AI 相关的 API 和 SDK，以便开发者将生成式 AI 驱动的功能集成于端侧移动应用中。

在设备上预装由厂商第一方开发的生成式 AI 功能，并保证其可以在端侧高效运行。根据 OPPO 与 IDC，新一代 AI 手机定义如下：

新一代 AI 手机（＞30 NPU TOPS）：这些手机使用能够更快、更高效地运行端侧 GenAI 模型的 SoC，并且使用 int-8 数据类型的 NPU 性能至少为 30 TOPS。端侧 GenAI 的示例包括 Stable Diffusion 和各种大语言模型。

截至 2024 年 2 月，符合 IDC 要求的 SoC 有苹果 A17 Pro、联发科天玑 9300、高通骁龙 8Gen3。

根据联发科与 Counterpoint 等联合发布的《生成式 AI 手机产业白皮书》，生成式 AI 手机的定义如下：

生成式 AI 手机是利用大规模、预训练的生成式 AI 模型，实现多模态内容生成、情境感知，并具备不断增强的类人能力。

支持大模型本地部署，或是通过云端协同的方式执行复杂的生成式 AI 任务。

生成式 AI 手机本身具备强大的 AI 算力，无需完全依赖云端服务器 具备多模态能力，即可以处理文本、图像、语言等多种形式的内容输入，以生成各种形式的输出，典型用例如翻译、图像生成和视频生成等。

确保流畅、无缝的用户体验，设备能够以自然而直观的交互方式，快速响应用户的请求。

拥有实现上述特征的硬件规格，包括但不限于基于领先工艺和先进架构设计的移动计算平台，拥有集成或者独立的神经网络运算单元（如 APU/NPU/TPU），大容量和高带宽的内存，以及稳定和高速的连接、硬件级和系统级的安全防御。总结来看，我们认为 AI 手机具备四大特征：

AI 手机首先需要能够高效地利用计算资源，以达到手机端部署生成式 AI 的条件；

AI 手机要能借助传感器敏锐地感知真实世界，了解用户与环境的复杂信息，主动提供服务；

AI 手机还需要拥有强大的自学习能力，能够不断理解用户习惯，提供更有针对性的知识；

AI 手机还将具备更充沛的创作能力，为用户提供持续的灵感与知识支持。这其中，30TOPS 的 NPU 算力有望成为基线配置。