OpenAI 推出全新儿童性虐待材料(CSAM)图像分类器,可精准识别包括 AI 生成在内的有害内容,并通过 API 免费向审核机构开放。同时,ChatGPT 上线劝阻警告机制并向执法部门提供技术支持,全面强化儿童保护生态。
为了进一步打击网络儿童性虐待,OpenAI 宣布推出一套综合举措,包括用于检测儿童性虐待材料(CSAM)的新分类器、ChatGPT 产品内干预措施,以及面向开发者和执法调查人员的专项支持工具。
在现有防护措施的基础上,OpenAI 开发了一款全新的图像分类器。该工具通过识别侵害行为的视觉特征,帮助安全团队发现从未在哈希库中出现过的新型图像。值得注意的是,这是业界首款广泛开放、且能专门提示内容是否可能由 AI 生成的 CSAM 分类器。
该分类器在美国国家失踪与受剥削儿童中心(NCMEC)的协助下完成训练和评估,目前已通过 OpenAI API 免费向经过审核的合格组织开放。
评估数据显示,新分类器能显著提升审核效率:
除了后端拦截,OpenAI 在 ChatGPT 中加入了直接干预机制。当用户尝试检索或生成侵害材料时,系统将阻断操作并弹出警告,明确指出相关行为的危害与违法风险。

触发警告后,相关对话将被删除,用户账号将被封禁 24 小时,界面同时提供当地专业求助渠道。屡次违规者将面临永久封号或被移交司法机关。该干预方案由 OpenAI 联合 Protect Children、Lucy Faithfull 基金会等多家心理学与预防研究机构共同设计。
在开发者生态层面,OpenAI 联合行业组织发布了 CSAM 指南,为不同阶段的企业提供违规追溯、举报与审核流程参考。此外,OpenAI 还与 Anthropic、Google 共同委托科技联盟发布了应对 AI 系统中儿童侵害披露的处置规范。
针对一线执法人员,OpenAI 正在提供专属分析工具与技术培训,帮助调查人员高效梳理海量聊天记录、构建案件时间线,并在减少直接接触敏感图像的前提下加快办案进度。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断