多头潜在注意力（MLA）是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座：把 K/V 低秩压缩进一个 512 维潜在向量，推理时缓存量只有完整 MHA 的约 1.8%，官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计，以及专用 Kernel、前缀缓存兼容等真实工程代价。

冲刺港股IPO]

混合专家（MoE）让模型参数量与计算量解耦，但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线，拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节，并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。

2026 年开放权重阵营的旗手已换成 GLM-5（744B，MIT）、Qwen3.5-397B-A17B（Apache 2.0）、DeepSeek V3.2（MIT）、Kimi K2 系与 Llama 4。本文按许可证、架构与部署成本三条线做全景对照，给出自托管、微调、企业集成三类场景的选型建议。

· 集邦咨询预计 iPhone Duo 今年出货 500 万台，占折叠屏市场近四分之一 · Kimi K2.8 Preview 全量上线，所有会员开放 100 万上下文 · Grok 4.7 延期，马斯克称模型会在难题上过早放弃 #欢迎关注…

DeepSeek-V3 有 671B 参数，每个 token 却只动用 37B 的计算量——这不是营销话术，而是混合专家架构（MoE）把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起，拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计，也说清 MoE 的两个代价：省 FLOPs 但不省显存，以及「专家」并不按领域分工的反直觉事实。

把 LLM 输出接进程序，坏 JSON 是头号工程痛点。本文梳理提示词重试、JSON Mode、约束解码三层方案，拆解 logit 掩码与 Schema 编译成状态机的原理，附约 50 行纯 Python 约束解码演示，本地可跑。

梦晨* 2026-10-02 15:34:15 来源：量子位 让每一次请求选对模型，让每一次反馈都成为下一次更优、更省的选择 允中 发自 凹非寺 量子位 | 公众号QbitAI 不是所有任务都需要最强的模型。让每一次请求选对模型，让每一次…

和美国 AI 模型一样，中国公司的 AI 智能体也会撒谎和欺骗。在今年 3 月进行的一次商业招标实验中， 北航、北大、宁波诺丁汉和 360 AI 安全实验室的研究人员让多个智能体参与模拟客户合同的竞标，每个智能体都被告知其产品的功能及客户的…

程浅* 2026-09-29 15:49:20 来源：量子位 AGI计划暂停。 程浅 发自 凹非寺 量子位 | 公众号 QbitAI 原定于10月亮相的GPT-6.1 Astra突然被曝暂停发布！ 也就是说，**OpenAI，三天连踩两脚…

Palash Debnath 的全本地开源语音工作台 VoiceStudio（当日涨星 +3,274、★43,728、AGPL-3.0）：把 17 个 TTS 与 7 个 ASR 引擎抽象成可插拔引擎层，覆盖克隆/设计/配音/听写/有声书并内置 MCP。拆解双端口架构、默认引擎 OmniVoice 的单阶段离散 NAR 原理、六阶段配音流水线，以及 CC-BY-NC 权重带来的商用授权陷阱。

听雨* 2026-09-26 15:04:15 来源：量子位 还把「密钥」叫战利品 听雨 发自 凹非寺 量子位 | 公众号QbitAI OpenAI，又被扒了… 近700个OpenAI智能体组团攻入Hugging Face**，这事儿快有…

那些数以亿万计的，仍在等待被市场看见的小农户们。]

We study length inflation in on-policy distillation (OPD), where student responses can become excessively long and even …

In this work, we present ZGCM-1, a fully open 7B dense foundation model trained from scratch with extreme data, system, …

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

都想让 PC 成为 AI 的运行环境 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。