OpenAI推出免费图像分类器,专门检测儿童性虐待材料(CSAM)及AI生成违规图像。经审核机构可通过API免费使用。ChatGPT同步新增24小时封禁警告机制,并为执法机构提供调查支持工具。
OpenAI 发布了一款免费图像分类器,专门用于检测儿童性虐待材料(CSAM),包括 AI 生成的虐待图像。同时,ChatGPT 上线了新的干预警告,若用户尝试获取此类有害内容,将被中断访问 24 小时。
这些举措是 OpenAI 儿童安全蓝图(Child Safety Blueprint)的一部分,同时发布的还包括面向开发者的安全指南,以及针对执法部门儿童安全调查员的新 AI 工具。

该分类器由 OpenAI 联合运营 CyberTipline 的非营利组织——美国国家失踪与受虐儿童中心(NCMEC)共同训练与评估。OpenAI 称,这是业内首个广泛提供、且能识别内容是否可能由 AI 生成的 CSAM 分类工具。
该工具能够筛查未曾收录的新图像中的视觉虐待迹象,并为每张图片评分,以便审核员确定优先处理顺序。经审核认证的组织可以通过 OpenAI API 免费调用该功能。
在用户上传图像的内部测试中,OpenAI 预估新分类器相比现有工具减少了 48% 的标记误报量,同时检出的违规图像数量相当,被标记图像的违规概率翻倍。早期合作伙伴的测试显示,在 fal 平台,72% 被高置信度标记的内容被证实为新型 CSAM;SafetyKit 测试发现其对儿童色情类绘画或动画的检出率达到 90%。OpenAI 正与 Tech Coalition 及 ROOST 合作推广该工具的接入。
此前,OpenAI 主要依赖哈希匹配技术和 Thorn 的分类器扫描上传内容。
ChatGPT 现已接入干预拦截:当检测到用户试图检索虐待内容时,系统将弹出警告,明确指出对儿童进行性化描绘会造成实质伤害(即使内容是 AI 生成的)。随后,OpenAI 会删除当前对话并暂停该账号访问权限 24 小时,同时向用户提供专业求助渠道。
若用户反复违规,可能面临更长封禁期、账号注销甚至被举报至执法机构。该方案是与 Protect Children、Lucy Faithfull Foundation 及相关威慑信息测试研究团队合作制定的。
OpenAI 联合 Thorn、NCMEC 和网络观察基金会(Internet Watch Foundation)发布了面向开发者的防范指南。针对负责儿童安全的执法单位,OpenAI 提供了定制插件、调查工具和培训支持,首款工具可帮助调查人员梳理冗长聊天记录与法律调证材料,识别潜在关联并建立时间线。
免费获取企业 AI 成熟度诊断报告,发现转型机会








关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断