RTX 4060 跑 35B 模型，每秒 39 Token？伯克利、MIT 联手开源 FreeToken

📋总体概括

伯克利与MIT团队联合开源了推理框架FreeToken，宣称可在消费级显卡RTX 4060上运行35B参数大模型，推理速度达到每秒39个Token。这一结果远超常规预期——4060仅有8GB显存，通常只能运行小参数模型。该项目的意义在于通过算法与系统工程优化，降低大模型本地部署的硬件门槛，让端侧和低成本设备跑大模型成为可能，或对推理成本结构产生冲击。