专题 · TOPIC

多模态之路

图像、语音与视频:看懂模型怎么跨过文字的边界

语言模型学会了看和听。这个专题拆解多模态的核心构件:视觉编码器与投影层怎么把图像「翻译」成语言、扩散模型怎么从噪声里画出图、语音链路的延迟账本、多模态的评测与幻觉问题——帮你建立跨模态的完整地图。

已收录 7 篇 · 持续更新 · 关键词:#多模态 #VLM #扩散模型 #语音识别 #评测基准
导读 · 本站原创 · 研究前沿

语音链路地图:ASR、TTS 与实时对话的延迟账

语音对话「说完—听懂—想好—说出」四段链路各带百毫秒级延迟,叠加起来轻易超过人类对话的停顿预算。本文摊开全链路延迟账本,拆解 VAD、流式识别、首 token 与流式合成各环节,并对比级联与端到端两条架构路线。
来源:原创2026-10-06阅读 0·访客 0
阅读全文 →

系列文章

ARCHIVE 共 7 条
语音链路地图:ASR、TTS 与实时对话的延迟账
语音对话「说完—听懂—想好—说出」四段链路各带百毫秒级延迟,叠加起来轻易超过人类对话的停顿预算。本文摊开全链路延迟账本,拆解 VAD、流式识别、首 token 与流式合成各环节,并对比级联与端到端两条架构路线。
原创 研究前沿 精选 · 原创 · 昨天 阅读 0·访客 0
扩散模型入门:从噪声里「雕刻」出图像
直接让网络输出一张合理的图像为什么难?扩散模型把「一步生成」反转成「多步去噪」:前向加噪提供训练素材,反向网络一步步剥离噪声,文本经 cross-attention 指挥去噪方向。本文讲清这套机制的完整逻辑,并对比扩散与自回归两条路线。
原创 研究前沿 精选 · 原创 · 昨天 阅读 0·访客 0
一篇读懂视觉语言模型:图像是怎么变成「语言」的
大语言模型只认 token 序列,图片如何进入对话?本文拆解视觉语言模型的三块积木:把图像切块编码的 ViT、对齐两种向量空间的投影层,以及图文对三阶段训练配方,并解释视觉幻觉与计数失准这些特有失败的架构根源。
原创 一叶一世界 精选 · 原创 · 昨天 阅读 0·访客 0
模型安全怎么量:安全评测的维度与指标
「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度,讲清评测过拟合的陷阱与红队互补关系,给出应用方的落地建议。
原创 研究前沿 精选 · 原创 · 昨天 阅读 0·访客 0
通用能力不打折,空间具身智能断层领先!ZDTaichu5.0-9B国产开源,跻身全球多模态第一梯队
九大空间测试10B规模通用模型中8项第一]
开源项目 量子位 · 9-16 阅读 40·访客 40
OpenAI 发布 Sora:视频生成的 GPT-3 时刻
Sora 基于扩散模型与 Transformer 架构,可直接从文本生成长达一分钟的高保真视频,展示了对物理世界'世界模拟器'式的理解潜力。
大模型 精选 · OpenAI · 2024-02-16 阅读 22·访客 18
GPT-4 发布:多模态与长上下文的分水岭
OpenAI 发布 GPT-4,支持图文多模态输入,在律师资格考试等专业基准上达到人类前 10% 水平,并引入 32K 长上下文版本。
大模型 精选 · OpenAI · 2023-03-15 阅读 20·访客 19