OpenAI 推出了一系列保护儿童在线安全的新举措,包括检测潜在儿童性虐待材料(CSAM)的图像分类器、针对有害行为的干预机制、开发者安全指南以及协助执法部门的调查工具。这些措施旨在通过技术手段预防滥用,并加强与行业、学术界及执法机构的协作。
OpenAI 近日发布了一系列新举措,旨在加强针对儿童性虐待材料(CSAM)的检测能力、干预有害行为,并为开发者及执法人员提供专业支持。这些努力基于其此前发布的《儿童安全蓝图》,致力于构建一个更安全的在线环境。
OpenAI 推出了一款全新的图像分类器,能够有效检测潜在的 CSAM 内容,包括 AI 生成的素材。这是首款具备广泛可用性且专门识别“是否由 AI 生成”信号的检测工具。
该分类器经过与美国国家失踪与受虐儿童中心(NCMEC)的协作训练,能够识别视觉上的虐待特征,即便图像此前从未出现过。测试显示,该工具能减少 48% 的人工审核工作量,且对有害图像的标记准确率显著提升。目前,OpenAI 已通过 API 向经过审核的机构免费开放该工具,并积极参与行业协作计划,以加强跨平台防御。
在 ChatGPT 中,OpenAI 新增了针对性的安全警告机制。当用户尝试检索相关有害素材时,系统会自动进行拦截,解释行为后果,并引导用户寻求专业帮助。与此同时,相关对话会被移除,且违规账号将面临 24 小时至永久封禁的处罚。
这一干预逻辑由多位 Forensic Psychology(司法心理学)专家与科研机构共同设计,旨在以循证方案引导用户停止潜在的有害行为,并提供各地区的心理支持渠道。
为了将防护延伸至整个生态,OpenAI 发布了开发者 CSAM 指南,为不同规模的组织提供从检测、审查到上报的标准化操作建议。此前,OpenAI 还联合 Google 和 Anthropic,协助 Tech Coalition 发布了针对 AI 系统中发现此类问题的响应指南,目前已看到更多开发者开始接入安全工具并向 NCMEC 提交举报信息。
针对执法机构,OpenAI 开发了专门的 AI 调查工具,帮助调查员整理海量聊天记录、识别潜在关联并自动生成时间轴,从而提高破案效率。首批工具已配合相关培训计划推出,未来将根据机构授权,支持更为复杂的取证工作。

OpenAI 表示,这些工具的发布并非终点,公司将继续与全球儿童保护组织、研究人员及执法部门深度合作,持续优化算法,确保 AI 技术在守护儿童安全方面发挥切实作用。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断