OpenAI 披露了其在线存储平台 Habitat 的底层架构演化细节。通过与微软深度重构 Azure Cosmos DB 多租户机制、引入 CDC 全球缓存并用 Rust 重构服务层,团队将读取延迟降低逾 90%,成功支撑起超 10 亿用户的高并发访问。
为保障 ChatGPT 等核心产品在毫秒级内响应全球逾 10 亿用户,OpenAI 构建了在线存储平台 Habitat。随着数据总量突破 500 PB、请求规模超过 2000 万 QPS,底层基础设施的扩展面临严峻考验。继第一部分阐述 Python 服务层演进后,OpenAI 近日披露了如何改造底层存储 Azure Cosmos DB,在全球范围内实现极致高可用与低延迟。
在底层存储的设计上,Habitat 经历了一段迂回的探索历程:
user_id 等逻辑分区键上频现冲突。更棘手的是“噪声邻居”和“弱分区”问题——物理分区拆分导致单分区吞吐上限骤降,仅存储量增长就会挤占活跃业务的吞吐容量。当系统承载数十 PB 数据与千万级 QPS 时,标准托管云服务已无法应对极端工况。2024 年底的一次主区域断电事故中,巨型账户的跨区域故障转移耗时长达数小时;切回时激增的连接又险些压垮网关。
这促使双方建立起“共同管理”机制:
读取请求占 Habitat 总流量的 90% 以上。面对跨区域网络延迟与算力分布不均的矛盾,OpenAI 推行了一套分层优化策略:
这一系列重构将全球读取的 p50 延迟从约 120 毫秒压低至 10 毫秒,读取性能提升至原先的 12 倍。
目前,Habitat 的 CDC 平台每秒从数百万个分区捕获海量变更,支撑起最终一致性索引、数据迁移和实时分析。内部控制平面接管了区域路由、租约分配与死信队列重试,使业务开发者无需关心底层流式管道细节。
面向未来的业务扩张,OpenAI 正在自研下一代 EB 级在线存储系统。该系统结合了 RocksDB Cloud 核心与 Raft 复制协议,在兼容现有文档模型的同时实现存算分离,旨在以更优的闪存成本支撑下一个 10 亿级用户规模。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断