Tag: inference

All the articles with the tag "inference".

• KV Cache：Transformer 推理的「记忆体」

  22 Jul, 2026

  为什么大模型聊到后来越来越贵？为什么不同模型的推理成本差几十倍？答案藏在 KV Cache 里——这个把 Transformer 从 O(n²) 拯救到 O(n) 的关键机制，如何在 GPU 显存中被高效管理？