Tag: transformer

All the articles with the tag "transformer".

• 从 Transformer 到 Mamba：LLM 的底层原理与下一代架构

  27 Jul, 2026

  GPT、Claude、DeepSeek 为什么底层架构如出一辙？Transformer 的 Self-Attention 如何工作？为什么 LLM 只能逐字生成？Mamba 能否替代 Transformer？本文从原理到工程，拆解 LLM 的核心机制与演进方向。

• KV Cache：Transformer 推理的「记忆体」

  22 Jul, 2026

  为什么大模型聊到后来越来越贵？为什么不同模型的推理成本差几十倍？答案藏在 KV Cache 里——这个把 Transformer 从 O(n²) 拯救到 O(n) 的关键机制，如何在 GPU 显存中被高效管理？