大模型生成内容是逐个 Token 蹦出来的。每产生一个新词，Transformer 都要计算当前词与之前所有词的关联。KV Cache 的逻辑很简单：把已经算好的 Key 和 Value 向量存进显存，下次直接复用，模型只需为新词计算 ...