Tag: llm-serving
All the articles with the tag "llm-serving".
KV Cache：Transformer 推理的「记忆体」
为什么大模型聊到后来越来越贵？为什么不同模型的推理成本差几十倍？答案藏在 KV Cache 里——这个把 Transformer 从 O(n²) 拯救到 O(n) 的关键机制，如何在 GPU 显存中被高效管理？
All the articles with the tag "llm-serving".
为什么大模型聊到后来越来越贵？为什么不同模型的推理成本差几十倍？答案藏在 KV Cache 里——这个把 Transformer 从 O(n²) 拯救到 O(n) 的关键机制，如何在 GPU 显存中被高效管理？