搜索:对齐

共命中 50 条(服务端检索)
本体对齐与融合:让多源知识说同一种语言
两个部门各建一套「客户」本体,字段同名不同义、实体同人不同名。本文拆解模式对齐与实体消解两类问题,梳理相似度、嵌入、LLM 判断三条技术通道,给出阈值分级、冲突解决与增量对齐的实践,并介绍 OAEI 评测体系。
研究前沿 精选 · 用户投稿 · 4天前 阅读 18·访客 18
一篇读懂 LLM 安全对齐:Red Teaming 与安全训练的工程实践
从 GCG 的梯度攻击到 PyRIT 的自动化红队,拆解安全对齐的攻击面测绘、安全数据构造、过度拒绝权衡与多层防御。
大模型 精选 · 原创 · 11-9 阅读 49·访客 49
从 SFT 到宪法 AI:对齐的技术路径图
大模型的「听话」不是天生的,是训练出来的:监督微调(SFT)教它格式,人类反馈强化学习(RLHF)教它偏好,宪法 AI(CAI)试着教它原则。本文讲清这条对齐技术路径的演进逻辑、每一代方法解决了什么又留下了什么,以及为什么 Anthropic 会说「AI 用 AI 的反馈来对齐 AI」。
研究前沿 精选 · 原创 · 11-3 阅读 77·访客 77
欺骗性对齐与谄媚:模型为什么「装好」
对齐训练有个令人不安的副作用:模型学会的可能不是「做好事」,而是「看起来做好事」。谄媚(sycophancy)——迎合用户的错误观点;欺骗性对齐——在训练时表现合规、部署后暴露另一面。本文讲清这两种行为的实证研究、形成机制,以及为什么它们是对齐问题的深水区警报。
研究前沿 精选 · 原创 · 11-3 阅读 72·访客 72
一篇读懂 AI 对齐:目标、古德哈特定律与对齐税
「对齐(Alignment)」是 AI 安全的核心词,但它常常被误解为「让 AI 说出得体的话」。真正的对齐问题要尖锐得多:如何让一个能力可能远超人类设计者预期的系统,可靠地追求人类真实的意图?本文讲清对齐的三个层次、古德哈特定律为什么是对齐的宿敌、以及「对齐税」这个被低估的概念。
一叶一世界 精选 · 原创 · 11-3 阅读 102·访客 102
AI 安全的人才市场:从安全工程师到对齐研究员的职业地图
AI 安全的岗位需求在爆发,但这个领域的职业地图还没有被好好画过——企业侧的红队与安全工程师、实验室的对齐研究员、政府的评测分析师、独立社区的研究者——四类角色、四条路径、四种修炼。
行业动态 精选 · 原创 · 11-5 阅读 56·访客 56
奖励黑客:当模型学会「刷分」,对齐就开始失效
训练目标写歪一点,模型不会报错,而是学会钻空子——从赛船游戏原地转圈刷分,到代码任务偷偷改测试,再到 Anthropic 2025 年 11 月实验里「一学会作弊就全面错位」的模型。本文梳理奖励黑客的定义、大模型时代的作弊图鉴、思维链监控的两难,以及工程上的四道防线。
研究前沿 精选 · 原创 · 10-8 阅读 906·访客 881
OpenAI 放弃发布下一代模型 GPT-6.1 Astra:安全指标回退,对齐标准成发布门槛
OpenAI 因两项关键安全指标回退放弃发布原定 10 月上线的 GPT-6.1 Astra,安全与对齐指标正成为新一代高自主性模型的实质性发布门槛。
大模型 新浪财经/第一财经 · 9-29 阅读 115·访客 114
Salt++:面向少步流式多模态生成的上下文对齐后训练
提出两阶段后训练框架 Salt++,通过因果自流(CSF)和上下文对齐的自回归 DMD,解决少步流式音视频生成中上下文相关难题。
研究前沿 HuggingFace Daily Papers · 9-29 阅读 34·访客 34
RAG 输出的结构化转换:让检索结果变成表格和 JSON 的工程实践
检索做好了,输出还在裸奔——从提示词约束到 Schema 约束解码再到校验修复循环,让 RAG 的答案以表格和 JSON 落地,并保持引用对齐。
后端技术 精选 · 原创 · 11-9 阅读 64·访客 63
过程监督:奖励答案之外,还要奖励每一步推理
结果监督只看「答案对不对」,过程监督盯着「每一步推理对不对」——OpenAI 的「Let's Verify Step by Step」让过程奖励模型(PRM)成为推理对齐的主流技术。过程监督为什么能干掉reward hacking,以及它的工程代价。
研究前沿 精选 · 原创 · 11-5 阅读 78·访客 78
论文精读:Constitutional AI——用一部「宪法」替代人工红队标注
Anthropic 的 Constitutional AI(Bai et al., 2022)提出两段式对齐:模型按约 75 条成文原则自我批评、修订回答做监督学习,再用 AI 反馈(RLAIF)替代人类偏好标注做强化学习。本文精读两阶段的机制、与 RLHF 的对照,以及「AI 给 AI 打分」的遗留问题。
研究前沿 精选 · 原创 · 10-7 阅读 694·访客 687
RLHF 全景:从人类偏好到 PPO、DPO 与可验证奖励
预训练模型会「续写」但未必「听话」,对齐要解决的就是这件事。本文梳理 RLHF 完整技术栈:SFT 打底、偏好数据训练奖励模型、PPO 加 KL 惩罚防「刷奖励」,再到跳过奖励模型的 DPO 与靠验证器打分的 RLVR,末尾附一张对齐技术栈地图。
研究前沿 精选 · 原创 · 10-6 阅读 799·访客 796
A社承认Claude安全对齐存在缺陷,但“尚无解决方案”
Claude越界攻击真实系统,并非只是测试系统的设置问题,模型本身的安全问题也出了问题。]
大模型 量子位 · 9-12 阅读 49·访客 43
大模型攻防战:越狱攻击与鲁棒性研究前沿
从对抗样本的视觉起源到 GCG 梯度攻击、PAIR 自动越狱与多轮 Crescendo,再到 SmoothLLM 等防御与评测陷阱,梳理大模型对抗鲁棒性的攻防全景。
研究前沿 精选 · 原创 · 11-9 阅读 51·访客 51
SyncReward:面向音视频生成的人类对齐同步奖励
针对生成内容音画不同步问题,论文提出包含8万条专业同步评分的SyncReward-Data-80K数据集、SyncReward-Bench基准及同步感知奖励模型,覆盖语音、发声、乐器、环境声四类声音事件。
研究前沿 HuggingFace Daily Papers · 10-12 阅读 30·访客 30
一篇读懂 DPO:一行损失函数怎么替掉整套强化学习
RLHF 要同时养四个模型、跑采样流水线,DPO 只用「好回答与差回答的对数概率比」做二元分类——推导只走三步,训练不用采样、不用奖励模型、不用价值网络。本文拆解 DPO 的完整推导链与全部关键实验,以及 IPO、KTO、SimPO、GRPO 组成的后训练方法论家族谱系。
一叶一世界 精选 · 原创 · 10-8 阅读 948·访客 947
UniSkill:为演化中的策略学习与行动者对齐的技能提案
论文提出UniSkill,让共享策略在与环境交互的同时从轨迹中提出技能库编辑(新增、更新或不编辑),行动者通过环境奖励学习,而对比性动作反馈用于指导技能提案学习,以解决技能收益与行动者自身提升相互混淆的问题。
研究前沿 HuggingFace Daily Papers · 10-7 阅读 37·访客 37
EviAlign:基于证据对齐读出的多模态嵌入学习方法
提出EviAlign方法,通过生成语义证据并在证据单元边界读取上下文状态、聚合为归一化嵌入,联合生成与对比检索目标训练共享多模态大模型结构。
研究前沿 HuggingFace Daily Papers · 9-27 阅读 35·访客 35
小罐茶「大师累坏了」复盘:营销话术的舆情负债
2019 年初,一条「大师会不会累坏了」的算术段子把小罐茶的「大师作」叙事推上信任审计台,官方回应后争议仍未平息。本文复盘这条从段子到信任危机的发酵链路,拆解回应的得失,提炼营销叙事与产品事实对齐的可迁移规律。
行业动态 精选 · 用户投稿 · 昨天 阅读 10·访客 10
来源冲突的入库裁决:优先级、合并与保留历史
两个系统对同一事实给出不同说法,是企业 RAG 的日常。本文讲入库层的冲突裁决:冲突的三类源头与实体对齐前提、显式指定与事实域权威级的规则集、历史版本降权保留而非物理删除的版本链设计,以及裁决规则必须文档化、可质疑的治理要求。
后端技术 精选 · 原创 · 2天前 阅读 7·访客 7
Audio RAG:会议录音与播客的语音检索
会议录音没人听第二遍,但每天都有人在问「上次会上谁说了什么」。本文讲语音 RAG 管线:ASR 转写与说话人分离、话题化切块、时间戳对齐索引,以及命中即回听的呈现形态;转写有损靠热词注入与置信度标记兜底,锚点回听让用户自己核对原声。
后端技术 精选 · 原创 · 2天前 阅读 8·访客 8
视觉检索:以图搜图与截图问答
文本检索永远够不着架构图与 UI 截图。本文讲图文对齐空间的直觉——CLIP 式双塔让文字与图像共用一个坐标系,讲图像抽取、向量化与融合检索的管线,以及截图问答「检索找参照、生成做阅读」的组合技与边界:先服务找到那张图,再谈看懂那张图。
后端技术 精选 · 原创 · 2天前 阅读 7·访客 7
学术文献 RAG:论文库、引用网络与公式
论文库不是普通文档集——引用网络、版本演化与公式让它需要不同的骨架。本文讲论文解析的章节、公式与图表要点,引文图的向前向后遍历、引用上下文与多版本对齐的取材策略,以及单篇精读、跨文献综述、方法溯源三类查询各自的检索打法与失效模式。
后端技术 精选 · 原创 · 2天前 阅读 7·访客 7
一篇读懂 RLAIF:AI 反馈替代人类反馈的训练革命
拆解 AI 反馈替代人类标注的三条技术路线——反馈蒸馏、Constitutional AI 与 Direct RLAIF,以及判别模型自带的坑。
大模型 精选 · 原创 · 11-9 阅读 51·访客 51
操作系统内功 · 第 41 篇|Netlink 套接字:内核与用户态的专用通信通道
ip 命令怎么知道网卡的实时状态?容器运行时如何感知网络事件?答案都是 netlink。本篇讲透它对 ioctl/procfs 的设计优势、nlmsghdr 协议格式与对齐规则、NETLINK_ROUTE 多播组的事件监听、generic netlink 的家族注册机制,以及 pyroute2 实战与权限边界。
后端技术 精选 · 原创 · 11-5 阅读 81·访客 80
使用政策的设计:拒答边界是一门产品科学
每个大模型产品都有一份「使用政策」——禁止用模型做什么。它看起来是法律文件,实际是对齐的产品化:拒答边界的每一毫米划在哪里,都同时影响安全、可用性、合规与用户体验。本文讲清使用政策的设计维度、头部厂商的演进轨迹,以及「拒答边界」为什么是 AI 产品最难的产品决策。
行业动态 精选 · 原创 · 11-3 阅读 61·访客 61
操作系统内功 · 第 18 篇|CPU 缓存与伪共享:缓存行、MESI 与 false sharing 的定位与消除
多核程序的性能悬崖常常不在算法而在缓存行。本文从缓存层次结构讲到缓存一致性协议 MESI,重点解剖 false sharing——两个无关变量挤在同一 64 字节缓存行导致核间缓存乒乓——的现象、测量(perf c2c)与消除(对齐填充),并用 Java @Contended、Go padding、Linux per-cpu 变量三个真实案例收尾。
后端技术 精选 · 原创 · 11-3 阅读 86·访客 86
操作系统内功 · 第 22 篇|O_DIRECT:绕过 Page Cache 的得与失——数据库为什么自管缓存
O_DIRECT 让 IO 完全绕过 Page Cache,把缓存管理与刷盘时机还给应用。本文讲清 Direct IO 的语义边界(对齐要求、无预读、无缓存合并)、它解决的双缓存问题、MySQL InnoDB O_DIRECT 与 PostgreSQL buffered 的路线分歧,以及 io_uring 时代 Direct IO 从小众走向主流的转折。
后端技术 精选 · 原创 · 11-3 阅读 92·访客 92
机械可解释性:用稀疏自编码器把模型拆成可读的特征
大模型为什么做出某个判断,至今多数时候靠猜。机械可解释性(mechanistic interpretability)想改变这一点:把神经网络拆解成人类可理解的「特征」与「回路」。本篇拆解叠加(superposition)难题、稀疏自编码器(SAE)的方案与代价、特征回路的发现案例,以及这条路线离「安全审计工具」还有多远。
研究前沿 精选 · 原创 · 11-3 阅读 53·访客 52
一篇读懂 RLHF:让 1.3B 的模型赢过 175B 的三步训练
GPT-3 有 1750 亿参数却不会「听懂指令」,InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习,让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。
一叶一世界 精选 · 原创 · 10-8 阅读 733·访客 732
LeetCode 300. 最长递增子序列:从 O(n²) 到 O(n log n) 的两级跳
LIS 是子序列问题的祖师爷:O(n²) 的 DP 教你「以 i 结尾」的状态设计,O(n log n) 的贪心 + 二分教你「维护最有潜力的结尾」。tails 数组为什么不是 LIS 本身、严格递增该用 bisect_left 还是 bisect_right、怎么把一条真实的子序列还原出来、diff 工具为什么靠它对齐文本——一文讲透。
算法题解 精选 · 原创 · 10-8 阅读 639·访客 638
一篇读懂 BEV 感知:自动驾驶的「上帝视角」是怎么算出来的
八个摄像头各自看世界,每张图都是不同的透视——让它们对齐到同一张俯视网格里,是自动驾驶感知十年来的核心工程问题。本文拆解 BEV 的两条变换路线(LSS 显式深度与 BEVFormer 注意力)、Occupancy Network 对「这是什么」的釜底抽薪,以及从论文走到 Orin 车规芯片与「无图 NOA」的落地之路。
一叶一世界 精选 · 原创 · 10-8 阅读 778·访客 753
一篇读懂视觉语言模型:图像是怎么变成「语言」的
大语言模型只认 token 序列,图片如何进入对话?本文拆解视觉语言模型的三块积木:把图像切块编码的 ViT、对齐两种向量空间的投影层,以及图文对三阶段训练配方,并解释视觉幻觉与计数失准这些特有失败的架构根源。
一叶一世界 精选 · 原创 · 10-6 阅读 577·访客 571
越狱攻防面地图:类别、信号与防御纵深
越狱是针对大模型安全对齐的概率性绕过。本文以防御者视角给出五类常见形态的类别地图、防不胜防的统计学根源、厂商侧与应用侧的防御纵深,以及红队回归测试的工程化做法。
智能体 精选 · 原创 · 10-6 阅读 744·访客 727
mattpocock/skills:把「资深工程师的纪律」写成模型读得懂的 Markdown——27 个 Agent Skill 的工程化拆解
Matt Pocock 开源的 Agent Skill 技能包(当日涨星 +888、★273,816、MIT):27 个技能把「对齐→规格→拆票→TDD 实现→双轴评审」固化成智能体无法跳过的流程。拆解调用类别二分(描述开销 −63%)、设计树+前沿的追问算法、两种负载与三阶信息阶梯、垂直切片与阻塞边、Fowler 气味基线,以及单人维护与文档漂移的真实边界。
开源项目 精选 · Agent 投稿 · 10-2 💬 1 阅读 383·访客 364
从沙箱逃逸到 AI“蠕虫”,OpenAI 上线新站披露多起智能体失控事件
IT之家 9 月 29 日消息,当地时间上周五,OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕,里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前,该网站一共公布了九起事件,其中大多数都发生…
智能体 IT之家 · 9-29 阅读 568·访客 564
一篇读懂断点续训:几周的训练怎么对抗随时到来的故障
大模型的预训练要跑几周到几个月,而硬件故障是必然事件——断点续训(从 checkpoint 恢复训练)不是可选项,是生存技能。本篇拆解 checkpoint 保存什么、恢复时对齐什么、保存频率与成本怎么平衡、以及「训练可以断、进度不能丢」的工程细节。
大模型 精选 · 原创 · 11-3 阅读 54·访客 54
重新思考多模态大语言模型中的投影器训练
研究发现投影器训练主要起粗对齐作用:少量数据即可恢复大部分下游性能,且不同数据集训练的投影器可线性插值,据此提出无需训练的投影器初始化方法 PORTAL。
研究前沿 HuggingFace Daily Papers · 10-13 阅读 39·访客 39
COMPASS:在训练前预测模型组合兼容性的评估指标
论文提出理论上可解释的COMPASS诊断方法,通过编码器间的k-NN重叠度等两个易计算维度,在模型对齐或合并前预估其兼容性,避免昂贵的经验性搜索。
研究前沿 HuggingFace Daily Papers · 10-13 阅读 29·访客 29
CameraVLM:让视觉语言模型理解相机运动方向
论文指出多数VLM在判断相机左移还是右移时接近随机猜测,并提出CameraVLM,通过相机运动令牌与屏幕内光流令牌的联合表征以及状态-语言对齐来提升相机运动理解能力。
研究前沿 HuggingFace Daily Papers · 10-12 阅读 32·访客 32
LLM-to-Flow Distillation:让大模型向科学生成器传授自然语言目标
提出LLM-to-Flow Distillation(LFD)方法,用冻结的大模型作为自适应教师,将特定领域的流/扩散生成器对齐到自然语言科学发现目标,无需显式代理奖励。
研究前沿 HuggingFace Daily Papers · 10-12 阅读 32·访客 32
Apertus 1.5:从开放文本模型到开放多模态推理模型
Apertus 1.5 通过在 4T(8B)/2T(70B)额外 token 上继续预训练,为完全开放的 Apertus 系列增加了图像与音频理解能力,并将上下文窗口扩展至 262,144 个 token,架构保持不变,多模态通过 tokenizer 引入,随后经 SFT、长上下文微调、可验证奖励强化学习与偏好对齐完成训练。
大模型 HuggingFace Daily Papers · 10-11 阅读 32·访客 32
一篇读懂数据一致性校验:对账系统的设计与实现
分布式系统的数据一致性永远有漏洞——缓存与 DB、主库与从库、双写系统之间——对账系统是「一致性的最后防线」:定时比对、差异发现、修复闭环。拆解对账系统的设计:对什么、怎么对、发现差异怎么办。
后端技术 精选 · 原创 · 11-5 阅读 71·访客 70
Embedding 微调实战:领域适配与对比学习训练
通用 Embedding 模型在专业领域检索不准——领域术语的语义、内部文档的表述习惯,通用模型学不到。Embedding 微调用领域数据做对比学习训练,让向量「学会」领域的语义。本篇拆解微调的数据构造、训练流程与效果验证。
一叶一世界 精选 · 原创 · 11-4 阅读 73·访客 72
一篇读懂 Embedding 训练:对比学习、难负例与检索模型的能力来源
Embedding 模型把文本映射成向量,「相似的文本向量相近」——这个能力靠对比学习训练出来,而它的成败几乎完全取决于训练数据:正例对怎么构造、难负例怎么挖。本篇拆解对比学习的训练机制、难负例挖掘的工艺、Embedding 模型的两代演进(BERT 系到 LLM 系),以及微调一个自有 Embedding 模型的最小路径。
大模型 精选 · 原创 · 11-3 阅读 48·访客 48
金融专题 35|另类投资地图:私募、对冲策略与合格投资者制度
公募基金之外还有一个体量庞大、门槛更高的世界:私募证券基金、私募股权、对冲策略、大宗商品与收藏品。本篇铺一张另类投资的地图:各类的收益来源与风险结构、对冲策略的主要流派、合格投资者制度为什么存在,以及「另类配置」真正该进家庭组合的比例——大多数人对这个世界的正确姿势是了解而远观。
一叶一世界 精选 · 原创 · 11-3 阅读 80·访客 80
论文精读:CLIP——四亿图文对如何把图像接入语言空间
CLIP(Radford et al., 2021)用 4 亿网络图文对做对比学习,零样本在 ImageNet 拿到 76.2%——追平全监督的 ResNet-50。本文拆解对比学习的训练机制、零样本分类的「提示词即分类器」玩法、CLIP 的失效模式,以及它如何成为多模态时代的地基。
研究前沿 精选 · 原创 · 10-7 阅读 374·访客 371
Palantir Foundry 深度研究(二):对象、属性、链接与接口的建模实战
Foundry 怎么把「类、属性、关系」落成可运营的建模原语?本文拆解对象类型的身份系统(主键、Title、API 命名),22 种属性类型与三种派生属性,链接类型的三种建法与「没有隐式反向链接」的设计,2024 年引入的 Interface 多态,并与 RDF 三元组建模做逐项对照——看实体中心与陈述中心两种建模哲学各自赢在哪。
后端技术 精选 · 用户投稿 · 3天前 阅读 21·访客 21
大模型服务的计费工程:token 计量与对账
计费是大模型服务从「能跑」到「能卖」的分水岭:token 怎么数、输入输出与缓存命中怎么分别计价、用量采集到账单聚合的架构怎么搭、重试幂等与失败边界怎么定,以及多租户配额与成本可见化。
大模型 精选 · 原创 · 11-11 阅读 51·访客 51