前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
技术/10.28 · 07:04/4 MIN/22 阅读

OpenAI揭秘存储架构演进:如何支撑十亿ChatGPT用户

OpenAI 披露了其在线存储平台 Habitat 的底层架构演化细节。通过与微软深度重构 Azure Cosmos DB 多租户机制、引入 CDC 全球缓存并用 Rust 重构服务层,团队将读取延迟降低逾 90%,成功支撑起超 10 亿用户的高并发访问。

为保障 ChatGPT 等核心产品在毫秒级内响应全球逾 10 亿用户,OpenAI 构建了在线存储平台 Habitat。随着数据总量突破 500 PB、请求规模超过 2000 万 QPS,底层基础设施的扩展面临严峻考验。继第一部分阐述 Python 服务层演进后,OpenAI 近日披露了如何改造底层存储 Azure Cosmos DB,在全球范围内实现极致高可用与低延迟。

多租户架构的三阶段演进

在底层存储的设计上,Habitat 经历了一段迂回的探索历程:

  1. 依赖原生原语:起初 OpenAI 依赖默认的 Cosmos DB 容器与原生限流机制。但在高并发下,各业务场景在 user_id 等逻辑分区键上频现冲突。更棘手的是“噪声邻居”和“弱分区”问题——物理分区拆分导致单分区吞吐上限骤降,仅存储量增长就会挤占活跃业务的吞吐容量。
  2. 尝试单租户隔离:为隔离风险,团队开始为核心场景分配独立容器。虽然避免了全站级故障,但各产品团队难以精准预估容量,上线即遭遇流量击穿的事故频发,运维负担急剧上升。
  3. 重回多租户并深度定制:最终 OpenAI 选择回归多租户模式,并与微软 Azure 团队展开深度定制。双方联合落地了热点键优先限流与请求分级 QoS(降级批量离线任务以保障交互请求),并推出了改进版无服务器模式——支持单物理分区扩展至 10K RU/s,同时新增基于 RU 使用量的自动拆分机制,彻底消除了手动扩容瓶颈。

突破规模极限:与云厂商“共同管理”

当系统承载数十 PB 数据与千万级 QPS 时,标准托管云服务已无法应对极端工况。2024 年底的一次主区域断电事故中,巨型账户的跨区域故障转移耗时长达数小时;切回时激增的连接又险些压垮网关。

这促使双方建立起“共同管理”机制:

  • 共建全链路可观测性:打通从 Habitat 服务层到 Cosmos DB 物理存储层的监控链路。
  • 同等规模非生产验证:搭建全尺寸非生产集群,验证极端故障转移拓扑与 SDK 稳定性。
  • 工程直联响应:打破传统工单体系,双方值班团队建立直通呼叫机制。
  • 深层架构优化:在网关引入过载保护,通过连接池复用降低客户端压力,并在物理层面实现关键业务与离线流量的 VPC 级隔离。

全球读取延迟降低 90%

读取请求占 Habitat 总流量的 90% 以上。面对跨区域网络延迟与算力分布不均的矛盾,OpenAI 推行了一套分层优化策略:

  • 分级就近与复制:受限于各数据中心的物理电力与存储容量,团队仅对延迟极敏感的元数据(如鉴权信息)在 40 个区域进行全量多活复制,其余数据则权衡成本与合规进行放置。
  • 基于 CDC 的集成缓存:在计算节点旁路部署 Valkey 缓存。不同于传统的 TTL 过期策略,系统通过 Cosmos DB 的变更数据捕获(CDC)流水线,在数秒内将失效事件同步至全球节点,在维持极高命中率的同时保证数据新鲜度。
  • Rust 重写代理层:将原有的 Python 代理彻底替换为 Rust 实现,消除服务中间件本身的 CPU 与调度开销。

这一系列重构将全球读取的 p50 延迟从约 120 毫秒压低至 10 毫秒,读取性能提升至原先的 12 倍。

平台化 CDC 与自研 EB 级存储

目前,Habitat 的 CDC 平台每秒从数百万个分区捕获海量变更,支撑起最终一致性索引、数据迁移和实时分析。内部控制平面接管了区域路由、租约分配与死信队列重试,使业务开发者无需关心底层流式管道细节。

面向未来的业务扩张,OpenAI 正在自研下一代 EB 级在线存储系统。该系统结合了 RocksDB Cloud 核心与 Raft 复制协议,在兼容现有文档模型的同时实现存算分离,旨在以更优的闪存成本支撑下一个 10 亿级用户规模。

标签:OpenAIChatGPT

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

自己动手做模型:ML Intern 低成本定制小模型实战
置顶

自己动手做模型:ML Intern 低成本定制小模型实战

微软和Meta收紧Claude:被削掉的是入口,不是模型
置顶

微软和Meta收紧Claude:被削掉的是入口,不是模型

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费
置顶

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费

//

24小时热榜

压测AI Agent 治理与评测调优实践
TOP1

压测AI Agent 治理与评测调优实践

费加罗报携 OpenAI,新闻内容接入 ChatGPT
TOP2

费加罗报携 OpenAI,新闻内容接入 ChatGPT

3

从AI机遇到现实生产力

15小时前
从AI机遇到现实生产力
4

甲骨文称OpenAI合同资金已全部到位

16小时前
甲骨文称OpenAI合同资金已全部到位
5

AI 智能体开始自己刷卡,中国支付公司抢三个位置

7小时前
AI 智能体开始自己刷卡,中国支付公司抢三个位置
6

CARIAD三年亏70亿欧元,大众为何还要买Rivian软件

9小时前
CARIAD三年亏70亿欧元,大众为何还要买Rivian软件
7

江丰电子递表港交所:靶材龙头的A+H棋局

9小时前
江丰电子递表港交所:靶材龙头的A+H棋局
8

泰国电动车加税,建厂中企压力反而更大

10小时前
泰国电动车加税,建厂中企压力反而更大
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断