前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
AI 大模型/11.17 · 08:09/3 MIN/0 阅读

OpenAI发布免费CSAM分类器并强化管控

OpenAI推出免费图像分类器,专门检测儿童性虐待材料(CSAM)及AI生成违规图像。经审核机构可通过API免费使用。ChatGPT同步新增24小时封禁警告机制,并为执法机构提供调查支持工具。

OpenAI 发布了一款免费图像分类器,专门用于检测儿童性虐待材料(CSAM),包括 AI 生成的虐待图像。同时,ChatGPT 上线了新的干预警告,若用户尝试获取此类有害内容,将被中断访问 24 小时。

这些举措是 OpenAI 儿童安全蓝图(Child Safety Blueprint)的一部分,同时发布的还包括面向开发者的安全指南,以及针对执法部门儿童安全调查员的新 AI 工具。

OpenAI 儿童安全报告

OpenAI 发布新图像分类器与 ChatGPT 警告机制以打击 CSAM

携手 NCMEC 研发新分类器

该分类器由 OpenAI 联合运营 CyberTipline 的非营利组织——美国国家失踪与受虐儿童中心(NCMEC)共同训练与评估。OpenAI 称,这是业内首个广泛提供、且能识别内容是否可能由 AI 生成的 CSAM 分类工具。

该工具能够筛查未曾收录的新图像中的视觉虐待迹象,并为每张图片评分,以便审核员确定优先处理顺序。经审核认证的组织可以通过 OpenAI API 免费调用该功能。

在用户上传图像的内部测试中,OpenAI 预估新分类器相比现有工具减少了 48% 的标记误报量,同时检出的违规图像数量相当,被标记图像的违规概率翻倍。早期合作伙伴的测试显示,在 fal 平台,72% 被高置信度标记的内容被证实为新型 CSAM;SafetyKit 测试发现其对儿童色情类绘画或动画的检出率达到 90%。OpenAI 正与 Tech Coalition 及 ROOST 合作推广该工具的接入。

此前,OpenAI 主要依赖哈希匹配技术和 Thorn 的分类器扫描上传内容。

ChatGPT 引入 24 小时封禁与警告

ChatGPT 现已接入干预拦截:当检测到用户试图检索虐待内容时,系统将弹出警告,明确指出对儿童进行性化描绘会造成实质伤害(即使内容是 AI 生成的)。随后,OpenAI 会删除当前对话并暂停该账号访问权限 24 小时,同时向用户提供专业求助渠道。

若用户反复违规,可能面临更长封禁期、账号注销甚至被举报至执法机构。该方案是与 Protect Children、Lucy Faithfull Foundation 及相关威慑信息测试研究团队合作制定的。

为开发者与执法调查提供工具

OpenAI 联合 Thorn、NCMEC 和网络观察基金会(Internet Watch Foundation)发布了面向开发者的防范指南。针对负责儿童安全的执法单位,OpenAI 提供了定制插件、调查工具和培训支持,首款工具可帮助调查人员梳理冗长聊天记录与法律调证材料,识别潜在关联并建立时间线。

标签:OpenAIChatGPT内容安全儿童安全

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

自己动手做模型:ML Intern 低成本定制小模型实战
置顶

自己动手做模型:ML Intern 低成本定制小模型实战

微软和Meta收紧Claude:被削掉的是入口,不是模型
置顶

微软和Meta收紧Claude:被削掉的是入口,不是模型

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费
置顶

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费

//

24小时热榜

初创公司 Drogue 获 2000 万美元融资,拟建海洋能供电浮动数据中心
TOP1

初创公司 Drogue 获 2000 万美元融资,拟建海洋能供电浮动数据中心

美法院裁定禁止政府向苹果与 Meta 施压以关停 ICE 追踪应用
TOP2

美法院裁定禁止政府向苹果与 Meta 施压以关停 ICE 追踪应用

3

FBI 警告:黑客利用 AI 工具 ARTEX 发动自动化网络攻击

21小时前
FBI 警告:黑客利用 AI 工具 ARTEX 发动自动化网络攻击
4

脑机接口新突破:ALS患者重获语言能力

21小时前
脑机接口新突破:ALS患者重获语言能力
5

AI 基础设施商 Fireworks AI 遭入侵,波及 Cursor、Uber 等多家公司

21小时前
AI 基础设施商 Fireworks AI 遭入侵,波及 Cursor、Uber 等多家公司
6

新加坡数据中心公司 Megaspeed 否认涉嫌违规转运 Nvidia 芯片

21小时前
新加坡数据中心公司 Megaspeed 否认涉嫌违规转运 Nvidia 芯片
7

硅谷巨头集体涌入AI制药:技术底座与自研药的殊途同归

17小时前
硅谷巨头集体涌入AI制药:技术底座与自研药的殊途同归
8

居民抗议难挡政府争抢:美国AI数据中心背后的税收博弈

17小时前
居民抗议难挡政府争抢:美国AI数据中心背后的税收博弈
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断