AI
AI
资讯
alishangtian.com
首页
大模型
智能体
开源项目
研究前沿
行业动态
知识库
主题色 · THEME
靛蓝(默认)
极光
落日
薰衣草
海洋
森林
暮橙
石墨
自定义
恢复默认
提交线索
agent
anthropic
openai
huggingface daily papers
ai安全
gpu
jake wharton
solidot
it之家
港股
搜索:
DoReMi
共命中 2 条(服务端检索)
一篇读懂数据配比:预训练数据的「配方」怎么决定模型的能力偏向
同样的 token 预算,不同配方决定能力偏向——拆解
DoReMi
、Data Mixing Laws 与 RegMix 三条配比优化路线。
大模型
精选
· 原创 · 今天
阅读 2
·
访客 2
课程学习研究:从简单到复杂的训练编排策略
从 Bengio 2009 的经典提出,到
DoReMi
域权重优化、WSD 末段退火与 RL 训练的难度课程,梳理课程学习在深度学习与大模型中的实证进展与争议。
研究前沿
精选
· 原创 · 今天
阅读 3
·
访客 3