训练和推理都用GPU——前向反向与缓存的三笔账

📋总体概括

本文是一篇面向深度学习开发者的GPU显存与算力科普解析，围绕「训练与推理为何账目不同」展开。作者以单参数模型拆解前向、反向与优化器更新三笔账，结合PyTorch固定版本源码解释eval模式下自动微分未关闭的原因，并梳理梯度累积、Adam历史状态、激活重算的生命周期，以及Prefill、decode与分层KV缓存的容量公式，最后给出显存排障路径。其价值在于把开发者常混淆的显存口径与异步计时问题讲透。