法国初创公司 Mistral AI 以 Apache 2.0 协议开源 7B 模型，以更小参数量比肩 Llama 2 13B，GQA 分组查询注意力等设计影响深远。

The KV cache is a primary bottleneck for Transformer decoding: its memory footprint and cache-read traffic grow with seq…