前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
技术/09.18 · 00:00/5 MIN/作者:苏晚/2 阅读

Uber用"错误归属"机制遏制重试风暴,单次事件挡下950万请求

Uber 工程团队在官方博客中详解重试风暴的成因:单点故障沿深层调用链被逐跳重试放大,最终演变成全站级事故。除了现有的重试预算机制,Uber 提出用"错误归属"区分症状与病因,让系统判断该由哪个节点重试、哪个节点该放弃,把重试风暴的影响范围限制在故障源附近。文章配图显示,该机制曾在一次重大服务降级事件中拦截950万次多余请求。

什么是重试风暴

一次请求沿 A→B→C→D→E→F→G 的调用链向下传递,如果下游某服务(比如 D)开始报错,且每一跳都配置"失败重试一次",总请求量会随调用链深度呈指数级增长,可写成公式 Rᵈ×Ƞ(R 为重试次数,ɗ 为节点深度,Ƞ 为原始请求量)。故障哪怕只发生在 D 一个节点,A、B、C 的每次重试都会把请求量层层放大,一路压向 E、F、G,最终把局部故障推成全站级事故——这就是重试风暴(retry storm)。

Uber 官方工程博客指出,问题根源在于重试行为"不感知上下文":系统能控制重试次数,却难以判断该何时重试,因为很难区分错误是服务自己产生的,还是从下游传递上来的。结果重试被无差别套用在所有错误上,服务中度或严重降级期间,会让下游雪上加霜。

重试预算能缓解,不是根治方案

Uber 现有手段是"重试预算"(retry budget):给每一跳设置重试上限比例 B,把请求量增长公式压低到 (1+B)ᵈ×Ƞ,从指数级变成线性可控。以 10% 预算为例,只允许故障处(NodeD)与其直接调用方(NodeC)之间重试,同时禁止 NodeA、NodeB 跟着重试,能保住链路可用性又不压垮下游节点。

但这类配置需要人工设定,缺乏对跨服务放大效应的可见性,依赖链越深越难靠人工调参兜底。测算显示,下游可用性下降到一定幅度后,重试带来的可用性提升会打折;服务过载、数据库宕机、分片故障这类场景里,重试未必能换来恢复,单靠重试预算并非彻底解法。

用"错误归属"区分症状与病因

Uber 的核心思路是"错误归属"(error ownership),用症状与病因作类比:一个服务若因下游报错才返回错误,它本身只是"症状",病因在下游;若所有下游调用都正常,它却依然返回错误,这个错误就该算它自己头上。

围绕这个判断,Uber 用内部 Service Dependency Analysis 方案关联入站失败与对应的出站失败,按规则判定错误该"认领"给谁,调用方据此决定是否重试。第一个发现下游"没有认领错误"的节点会主动放弃重试资格,把风暴影响范围限制在离故障最近的几跳,仍保留对出错服务的重试。

Uber 在文章配图中给出了这套机制的实际效果:一次重大服务降级事件中,该机制拦截了950万次多余请求。

Uber 重试风暴防护机制示意图:调用链 A 到 G 中,只有 C 与 D 之间保留重试,上游节点主动停止重试
图:Uber 工程博客配图展示的调用链与错误归属机制,标注该机制在一次重大降级事件中拦截了950万次多余请求,来源:uber.com

博客原文之后进入"决策矩阵"与"巧合性错误"两节,但原文在此处被截断,Uber 尚未说明该机制是否已推广到全部服务。

标签:Uber重试风暴错误归属重试预算服务依赖分析微服务架构
苏晚
苏晚Su Wan

前途科技 · 前沿主笔

关注 AI 与前沿科技的观察者,前途科技前沿内容主笔。

查看全部文章

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

LoRA 让异步 RL 跨机只传几 MB:一个桶加一个代理,再靠三处设置提速 3.9 倍
置顶

LoRA 让异步 RL 跨机只传几 MB:一个桶加一个代理,再靠三处设置提速 3.9 倍

//

24小时热榜

OpenAI发布Astra for Law:面向法律行业的GPT-6模型
TOP1

OpenAI发布Astra for Law:面向法律行业的GPT-6模型

英王查尔斯召集AI巨头闭门会谈
前途科技前途科技
服务关于快讯技术商业报告
前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
TOP2

英王查尔斯召集AI巨头闭门会谈

3

模式的终局:算法如何驯化了我们的创作

2小时前
模式的终局:算法如何驯化了我们的创作
4

Uber用"错误归属"机制遏制重试风暴,单次事件挡下950万请求

10小时前
Uber用"错误归属"机制遏制重试风暴,单次事件挡下950万请求
5

华为将发布昇腾960芯片,对标英伟达加速算力破局

22小时前
华为将发布昇腾960芯片,对标英伟达加速算力破局
6

Gemini对决GPT-6:差价超90%,开发者该选谁?

2小时前
Gemini对决GPT-6:差价超90%,开发者该选谁?
7

Anthropic发布生命科学计划 解锁生物研发AI限制

2小时前
Anthropic发布生命科学计划 解锁生物研发AI限制
8

AI末日究竟会是什么样:从一封辞职信到三类现实场景

10小时前
AI末日究竟会是什么样:从一封辞职信到三类现实场景
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断