资讯
高通第六代骁龙8至尊版系列集成全新Hexagon NPU:专为AI智能体打造
📋总体概括
高通在官网介绍第六代骁龙8至尊版系列集成的全新Hexagon NPU,专为终端侧AI智能体打造。新NPU引入两项关键特性:一是面向Transformer工作负载的Element Accelerator,结合向量与标量计算单元加速大模型核心运算;二是大幅扩展共享内存,让多模型状态、上下文和KV-cache数据更靠近计算单元,缓解内存瓶颈。高通还与内存和模型厂商合作引入MoE架构,300亿参数模型每次生成词元仅需激活约30亿参数,降低计算与带宽压力。
⚡关键信息
- ▸高通第六代骁龙8至尊版集成全新Hexagon NPU,定位为直接在终端侧运行智能体AI体验
- ▸新增Element Accelerator,专为生成式AI和智能体AI的Transformer工作负载加速设计
- ▸大幅扩展大容量共享内存,多模型状态、上下文与KV-cache贴近加速器,缓解内存瓶颈
- ▸与内存和模型厂商合作引入MoE架构:300亿参数模型推理时仅激活约30亿被路由参数
🔥犀利点评
这波本质是高通给端侧AI智能体时代提前占位:Transformer专用加速器加共享内存扩容,打的是长上下文和多任务并发这两个智能体刚需。MoE稀疏激活确实是端侧跑大模型的最优解,30亿激活撬动300亿参数听着美好,但端侧内存容量和带宽仍是硬约束,实际体验要看落地调校,别光听PPT。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 驱动之家 阅读全文 →