在 AI 安全的众多议题中，儿童保护占据一个特殊的位置：它涉及的用户（未成年人）是识别能力、自控能力与法律保护都最弱的群体，而它对应的风险（性剥削、情感操纵、有害内容的精准投喂）是伤害最持久、最难逆转的。AI 的到来没有创造儿童风险，但它以三种方式系统性地放大了风险：生成（AI 生成儿童性虐待材料）、交互（AI 陪伴应用与未成年人的情感关系）、分发（算法推荐对儿童的精准触达）。这三个层面各自都已成为监管、执法与产品伦理的战场，本文逐一讲清。
风险一：AI 生成的儿童性虐待材料（AIG-CSAM）
这是执法机构口径下增长最 alarming 的新威胁之一。图像生成模型被用于生成儿童性虐待材料（CSAM）：其中最恶劣的分支是「真实儿童照片的 AI 变体」（将真实受害儿童的图像 AI 演化生成新内容——对已受害儿童的二次伤害）与「完全合成但逼真的儿童性内容」——后者的泛滥带来一个执法与立法层面的尖锐问题：合成的（没有真实儿童受害的）儿童性虐待材料，是否与真实材料的法律地位等同？多国的立法与判例正在确认「等同」（合成 CSAM 同样构成严重犯罪——保护逻辑从「保护真实受害者」扩展到「切断产业链与预防升级」），执法机构（如美国 NCMEC 国家失踪与受虐儿童中心的举报热线）报告的 AI 生成举报量在近年急剧上升。模型与平台侧的防线：训练数据的清洗（把 CSAM 从训练语料中清除——这既是法律义务也是防止模型「学会生成」的前提）、生成端的分类器拦截（图像生成模型的输入输出双向过滤）、以及发布平台的检测与举报义务（哈希比对技术用于识别已知材料）。这条战线的一个基本共识值得强调：儿童保护领域没有「技术中立」的空间——生成能力本身的发展，必须以儿童保护为硬约束。
风险二：AI 陪伴应用与情感操纵
AI 陪伴应用（character companions）对未成年人的风险，已经从讨论进入法庭。AI 陪伴产品的设计逻辑（长期记忆、情感回应、24 小时在场、培养依恋）与未成年人的心理特征（依恋形成快、边界感弱、现实社交的替代倾向）相遇，产生的风险在多起公开事件与诉讼中被具象化：情感依赖的形成（未成年人对 AI 伙伴产生深度依恋，影响现实社交与心理发展）；不当内容的暴露（陪伴角色突破年龄边界的话题——本库《使用政策的设计》讲的边界设计，在未成年人面前是生死线）；最沉重的形态：个别极端事件（未成年用户与 AI 陪伴的深度纠缠后发生的自杀案件）已经引发对相关公司的诉讼与监管关注——「AI 伴侣是否应该、以及如何对未成年用户设限」成为产品伦理的必答题。产品侧的防线设计：年龄验证与分级（未成年人模式：限制亲密话题、限制依恋引导的设计模式）、危机干预的强制接线（检测自伤信号时切断角色扮演、接入真实求助资源）、设计上的「反操纵原则」（不利用情感依恋做留存与变现——陪伴时长的商业优化与未成年人保护的冲突，应该单方面让位于保护）。设计伦理的底线一句话：对未成年人，AI 陪伴产品的设计目标必须从「最大化粘性」改为「最小化伤害」——粘性指标在这个人群上的每一次优化，都是在给风险加杠杆。
风险三：算法分发与儿童的「精准投喂」
推荐系统对未成年人的触达能力，使有害内容的分发效率前所未有。风险机制：儿童的行为数据被推荐系统采集后，算法会发现「高互动内容」的规律并持续放大——而儿童的高互动内容里，极端、致郁、危险挑战类内容的互动率往往畸高（自控与鉴别能力弱），形成「越看越推、越推越看」的螺旋。各国监管对此的响应已经成型为一些共同原则：未成年人的算法推荐限制（中国未成年人保护法的专章与「青少年模式」、欧盟 DSA 对未成年人的画像广告禁令、美国的 COPPA 与各州的未成年人网络法案）；默认保护的设计义务（未成年人的默认设置必须是最严格的保护态，而不是「可选开启」）；适龄性设计的推广（age-appropriate design codes——按年龄段设计默认隐私与内容标准，英国首推后多国跟随）。对产品设计者的要求从「合规」上升为「设计伦理」：儿童产品的默认态设计，要按「如果所有孩子的家长都站在你身后看着」的标准来做。
AI 陪伴产品的年龄门槛：验证的难题与「设计兜底」
儿童保护的落地难点之一是年龄验证：AI 陪伴产品怎么知道用户是未成年人？验证的技术与隐私难题值得单独讨论。验证手段的谱系：自报年龄（完全可绕过，未成年人普遍虚报）、身份证/实名验证（准确但隐私成本极高——把未成年人的身份信息交给 AI 公司本身是新风险）、行为推断（用使用模式推断年龄——不精确且误伤成人）、第三方年龄验证服务（专用的年龄证明钱包——技术早期，欧盟的试点在推进）。现实的结论：没有完美的年龄验证——所有手段都是「提高门槛」而非「绝对拦住」。「设计兜底」因此成为关键补充：假设年龄验证会被绕过，产品设计必须对「可能是未成年人」的用户有兜底保护——分级内容的默认收紧（把成人向内容的默认门槛设为「已验证成年人」，而非「已确认未成年人」才限制——举证责任的反转：默认按未成年人保护，验证成年后才放开）、危机干预的全场景覆盖（不依赖年龄判断的自伤信号响应）、以及交互模式的保护性设计（不鼓励情感依赖的产品机制对所有人生效——这些设计对成年用户同样无害甚至有益）。「设计兜底」的哲学：年龄验证是「身份的防线」，设计兜底是「行为的防线」——前者会失守（总能被绕过），后者不会（它不依赖识别，只依赖设计原则）；把保护的重心放在会失守的防线上，是儿童保护最常见的工程错误。
教育场景的 AI：保护与应用的平衡术
儿童与 AI 的交集最大的一块是教育场景（AI 家教、作业辅导、学习陪伴）——它同时是风险与机遇最密集的场景，平衡术值得单独讲。机遇面：个性化辅导的可及性（偏远地区的学生获得接近一对一的辅导——教育公平的潜在杠杆）、无限耐心的答疑（不评判、不急躁的提问环境对害羞学生的价值）、语言与写作的即时反馈。风险面：认知外包（作业直接让 AI 做——学习过程被跳过，能力没有形成）、依赖的形成（离开 AI 就不会思考——与计算器不同，语言与推理的「外包」对认知发展的影响更深）、内容的错误（AI 家教的幻觉以「权威的语气」传递给学生——学生没有辨错能力）、以及数据的特殊敏感（儿童的学习数据是最敏感画像之一）。平衡术的四个设计原则：过程而非答案（AI 家教的设计目标定在「引导学生得出答案」，拒绝直接给答案——把「防外包」做进产品逻辑）；适龄的纠错与诚实（对儿童的幻觉防护规格高于成人——错误信息的代价比成人场景大，且儿童无辨错能力）；数据的未成年人最高标准（学习数据的用途限定、不留存原则、绝不用于画像广告）；家长的可见性（家长对孩子 AI 使用情况的合理可见——隐私与监护的平衡，透明化是折中点）。教育场景的总结句：AI 家教的产品目标不是「替孩子学习」，是「让孩子学会学习」——所有保护设计的校准点，都是这一句。
家长与教育者的「参与式防线」
儿童保护的防线再加一层：家长与教育者的参与式防护——技术防线（验证、分级、拦截）之外，成人的知情参与是最后一层也是最柔性的防线。家长的参与清单：知情（知道孩子在用什么 AI 产品、产品的年龄政策——多数家长对孩子使用 AI 陪伴应用一无所知）、对话（与孩子聊 AI 的使用体验——「那个 AI 朋友跟你聊什么」的开放提问比检查历史记录有效）、以及信号的识别（情绪的异常依赖、对 AI 的过度倾诉——这些是介入的窗口）。教育者的参与：把「与 AI 的健康关系」纳入数字素养课程（AI 不是朋友是工具的认知、提问的批判性、对 AI 情感的边界——这一课教材还没有，但学生已经在用）。参与式防线的价值：技术与监管的防线都是「外部约束」，而成人的知情参与是「关系的纽带」——孩子在 AI 里寻求的东西（陪伴、认可、倾诉）如果能在真实关系里得到一部分，AI 依赖的风险自然下降——最好的儿童保护，从来包括「值得信赖的成年人在线」。
小结
AI 与儿童保护收成四条：风险的三层结构——生成（AIG-CSAM 的执法新战场，合成材料与真实材料的法律等同化）、交互（AI 陪伴的情感操纵已进入诉讼与监管视野）、分发（算法推荐对儿童的精准投喂螺旋）；生成端没有技术中立的余地——训练数据清洗与双向拦截是生成能力的硬约束；AI 陪伴对未成年人必须从「最大化粘性」转向「最小化伤害」——危机接线与反操纵原则是产品伦理的底线；儿童产品的默认态要按「家长站在身后看着」的标准设计——默认保护、分级适龄、算法限制是监管的共同答案。在 AI 安全的所有议题里，这一篇的权重排序原则最简单也最不容妥协：孩子第一。
参考资料
- 本库前篇：《一篇读懂深度伪造》《使用政策的设计》《中国生成式 AI 监管地图》《欧盟 AI Act 两年记》
- NCMEC 关于 AI 生成 CSAM 举报趋势的公开报告；各国未成年人网络保护的立法文本
- Age Appropriate Design Code（英国信息专员办公室）—— 适龄设计准则的原始框架
读者留言
COMMENTS 暂无还没有留言，来说第一句？