高通将设备端人工智能引入移动和PC

高通公司在无需互联网连接的情况下在设备上运行人工智能和机器学习系统并不陌生。多年来，他们一直在使用相机芯片组来实现这一点。但在周二的 Snapdragon Summit 2023 上，该公司宣布，作为新的 Snapdragon 8 Gen 3 和 X Elite 芯片的一部分，设备端人工智能终于来到移动设备和 Windows 11 PC 上。

这两款芯片组都是从头开始构建的，考虑到了生成式 AI 功能，并且能够支持各种大型语言模型 (LLM)、语言视觉模型 (LVM) 和基于变压器网络的自动语音识别 (ASR) 模型， SD8 gen 3 的 100 亿个参数和 X Elite 的 130 亿个参数，完全在设备上。这意味着您将能够在手机或笔记本电脑上运行从百度的 ERNIE 3.5 到 OpenAI 的 Whisper、Meta 的 Llama 2 或 Google 的 Gecko 等任何软件，而无需连接互联网。高通的芯片针对语音、文本和图像输入进行了优化。

高通高级副总裁兼技术规划与边缘解决方案总经理 Durga Malladi 在上次的发布会上告诉记者：“为这些模型的运行提供广泛的支持非常重要，因此异构计算极其重要。”星期。“我们拥有最先进的 CPU、GPU 和 NPU(神经处理单元)处理器，这些处理器可以同时使用，因为多个模型可以在任何给定时间点运行。”

高通人工智能引擎由 Oryon CPU、Adreno GPU 和 Hexagon NPU 组成。它们加起来可处理高达 45 TOPS(每秒数万亿次操作)，并且在笔记本电脑上每秒可处理 30 个令牌，在移动设备上每秒可处理 20 个令牌——令牌是 LLM 可以处理/生成的基本文本/数据单元。该芯片组使用三星的 4.8GHz LP-DDR5x DRAM 进行内存分配。

他继续说道：“生成式人工智能已经证明了它能够处理非常复杂的任务，并以非常有效的方式解决它们。” Malladi 指出，潜在的用例可能包括为消费者提供会议和文档摘要或电子邮件起草，以及为企业应用程序提供基于提示的计算机代码或音乐生成。

或者你可以用它来拍摄漂亮的照片。高通正在将其之前的工作与边缘 AI、认知 ISP相结合。使用这些芯片组的设备将能够实时编辑多达 12 层的照片。他们还能够在弱光下捕捉更清晰的图像，从照片中删除不需要的物体(像谷歌的魔术橡皮擦)或扩展图像背景。用户使用 Truepic 照片捕捉功能，甚至可以将他们的照片加水印为真实照片，而非 AI 生成的照片。

拥有一个主要存在于手机或移动设备上而不是云端的人工智能，将为用户带来比当前系统更多的好处。Malladi 说，就像企业人工智能采用通用模型(例如 GPT-4)并使用公司内部数据对其进行调整以提供更准确和切合主题的答案一样，本地存储的人工智能“随着时间的推移......逐渐变得个性化”， “从某种意义上说……助手变得更聪明、更好，在设备本身上运行。”

此外，当所有资产都位于本地时，模型必须查询云进行处理或信息时出现的固有延迟就不存在。因此，X Elite 和 SD8 gen 3 不仅能够在设备上运行稳定扩散，而且能够在不到 0.6 秒的时间内生成图像。

运行更大、功能更强大的模型，并使用我们的口语而不是打字与这些模型进行交互的能力最终可能会给消费者带来最大的好处。“我们以一种非常独特的方式开始连接设备，语音成为这些设备的更自然的界面——除了其他一切之外，”马拉迪说。“我们相信，这有可能成为一个变革性的时刻，我们开始以一种与之前截然不同的方式与设备进行交互。”

移动设备和个人电脑只是高通设备端人工智能计划的开始。随着公司开发新的芯片迭代，10-130 亿个参数的限制已经向 200 亿多个参数迈进。“这些都是非常复杂的模型，”马拉迪评论道。“您在此基础上构建的用例非常令人印象深刻。”

“当您开始考虑 ADAS(高级驾驶员辅助系统)时，您会发现来自多个摄像头、红外传感器、雷达、激光雷达的多模态 [数据]，此外还有来自车内人员的语音本身，”他继续说道。“该模型的规模非常大，我们已经讨论了 30 到 600 亿个参数。” 根据高通的估计，这些设备上的模型最终可能会接近 1000 亿个参数或更多。