DeepSeek开源最新推理框架：单集群日吞吐155万亿Token，KVCache可保存7天

📋总体概括

DeepSeek开源了其最新推理框架，官方披露单集群日Token吞吐量达155万亿，KVCache最长可保存7天。这一数据指向其在大规模推理服务上极致优化的工程能力，通过延长KVCache生命周期减少重复计算、提升并发吞吐。将内部生产级推理基础设施开源，为行业提供了高吞吐、低成本推理的参考实现，也延续了DeepSeek开源战略对AI基础设施生态的冲击。