GitHub availability report: August 2026

TL;DR · AI 摘要
GitHub 2026年8月可用性报告揭示:通过迁移到Azure、改进容量监控和弹性措施,系统稳定性显著提升,但重大故障仍需持续优化。
核心要点
- GitHub在Azure上首次运行MySQL主节点,客户影响最小
- 读取流量在Azure上达60.4%,GitHub单体达64.3%
- 迁移优化减少120万次查询/秒,节省59,000秒数据库工作/小时
结构提纲
按章节快速跳转。
- §引言
概述2026年8月GitHub可用性挑战及改进方向。
包括迁移到Azure、容量监控优化和弹性服务改进。
8月11日首次在Azure运行MySQL主节点,客户影响最小。
Azure读取流量达60.4%,GitHub单体达64.3%。
移除100万查询/秒,优化数据库负载。
独立测量Pull Request失败指标,提升故障定位效率。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- GitHub 2026年8月可用性报告
- 迁移到Azure
- MySQL主节点迁移
- 读取流量增长
- 容量改进
- 重试策略优化
- 数据库负载减少
- 监控提升
- Pull Request独立监控
- 边缘负载保护
金句 / Highlights
值得收藏与分享的关键句。
GitHub在Azure上首次运行MySQL主节点,客户影响最小。
读取流量在Azure上达60.4%,GitHub单体达64.3%。
迁移优化减少120万次查询/秒,节省59,000秒数据库工作/小时。
尽管我们持续取得进展,但 8 月的可用性表现仍面临严峻挑战。您可以通过我们上个月发布的博客文章了解更多关于这些事件的细节。我们正在积极投资架构改进和迁移到 Azure,这将为我们带来更大的容量。同时,我们的平台持续呈现显著增长。我们在优先处理最关键的工作并降低风险,但 8 月的事件表明,我们无法完全消除风险。
最终,所有工作都需要完成,而事件为我们调整优先级提供了机会。作为这些事件的修复措施,我们在容量监控和管理、导致更大影响的重试策略以及核心服务的弹性改进方面取得了显著进展。我们还在多个长期稳定的工作流中持续取得重大进展。
8 月 11 日,GitHub 首次在 Azure 上运行了生产环境的 MySQL 主节点。客户端观察到的写入影响微乎其微,迁移过程中未对客户造成任何影响。8 月 27 日,我们又重复了这一模式,部署了另外两个主节点。未来几周我们将继续部署更多主节点,随着每次故障转移的实践经验,部署复杂度将逐步提升。
读取流量也创下新高。迁移服务的读取量峰值达到 60.4%,而 Azure 中 GitHub 单体应用的读取量峰值达到 64.3%。Git 读取量达到 54%。
除了区域迁移工作,24 表认证核心组已迁离 GitHub 最古老的共享数据库 mysql1,将每秒约 100 万条查询从其副本中移除。独立的查询优化变更又减少了每秒 12 万条查询,并消除了每小时约 5.9 万秒的数据库冗余工作。
GitHub Actions 在获得更多容量的同时,长期隔离工作仍在持续推进。作业路由变更将 33% 的作业从资源受限的生产集群转移到备用容量,使缓存 CPU 利用率峰值从 98% 降至 80%,并增加了约三个月的缓冲空间。这是一项短期控制措施,而非最终解决方案;8 月的停机事件进一步强调了更持久容量和隔离的必要性,相关工作仍在继续。
拉取请求隔离工作持续推进。除了已处理的未认证流量,首个生产组的认证读取现已达到 100%。
在 Git 过载保护方面的投入使处理流量增加了 6.4%,同时将 95 分位延迟提升了 24%,最大延迟降低了 78%。边缘更广泛的负载丢弃保护也取得进展,使 GitHub 在突发负载下具备更多防护手段——事实上,这些保护机制在缓解前述 8 月事件中发挥了作用。
我们还改进了监控和遥测功能。现在拉取请求监控能够独立测量合并、评审和评论失败情况,避免高读取量掩盖写入路径故障的问题。8月21日起,自动化高影响事件检测开始结合客户支持信号与服务遥测数据。API监控经过30天的重新校准和验证,有效减少了噪声并提升了信号质量。这些改进增强了故障检测和响应能力。
下个月的工作重点包括迁移下一个数据库主节点、继续将服务及对应流量迁移到Azure、逐步改善共享数据库的健康状况、在容量管理和自动扩展方面增加更多自动化功能,并将依赖项故障处理扩展到更多拉取请求场景。
这一原则持续指导我们的工作:优先保障可用性,其次是容量,最后是功能。
8月6日 15:22 UTC(持续10小时42分钟)

发生了什么?
此次事件始于对GitHub Actions内部服务的常规部署,该服务负责处理传入事件并将其转换为操作任务。部署内容本身没有问题(我们已回滚部署以确认这一点);但在部署过程中替换Pod导致某一区域的容量短暂下降,剩余区域在流量转移时超出容量限制。事件中期影响最为严重,当时大量操作工作流运行失败或无法完成。
问题原因是什么?
受影响的操作服务接近其容量和并发限制。一次短暂减少运行Pod数量的常规部署就耗尽了可用容量余量。这导致服务网格Sidecar出现CPU节流和内存不足重启,进而引发多个集群的缓存、DNS和API错误。这些服务的入口服务网格容量余量有限,无法在部署期间吸收临时容量损失。
当核心服务恢复时,作业分配路径中的一个潜在缺陷使恢复过程更加缓慢:运行器被分配了已被撤销的作业,随后陷入不断重试这些作业的困境,而非获取有效工作,这导致了自我放大的任务积压。
我们如何应对?
- 向内部操作服务进行例行部署时,某一数据中心的运行容量短暂下降,几分钟内服务网格和剩余的Pod便达到饱和状态。
- 失败情况在集群间级联扩散,缓存、DNS和API错误不断蔓延,操作基础设施故障数量上升。我们宣布了公开事件,识别出触发部署并回滚以确认其内容并非根本原因。
- 在接下来的约两小时内,我们为饱和服务扩展了容量,并限制了入站的webhook触发工作负载,使系统得以稳定。
- 随着核心服务恢复,大量排队作业的积压仍然存在。一个潜在的bug导致运行器被分配了已失效的作业,并陷入不断重试的循环,阻碍了真实工作的处理。
- 我们部署了修复方案,使运行器停止尝试获取无效作业,清空了累积的队列,并提高了限制恢复速度的内部速率限制。工作流成功率回升至正常水平。
- 全局队列清空后,操作服务恢复正常运行。一小部分自托管运行器仍处于停滞状态,需要手动恢复,且事件期间的部分数据无法自动重放,必须重新触发。
我们如何减少此类事件的发生概率或降低其影响?
- 为服务网格入口和受影响的操作服务添加容量冗余并启用自动扩缩容,使常规部署不会导致其达到饱和。
- 通过避免部署期间的容量缩减,提高这些服务的部署安全性。
- 加强对事件前饱和状态和数据库代理条件的监控,以便更早发现问题。
- 改进系统在大规模操作事件期间的负载卸载和积压工作处理能力,防止运行器因重复尝试无效作业而陷入停滞。
- 在即将发布的运行器和ARC版本中,为受此故障模式影响的自托管Actions Runner Controller运行器添加自动恢复功能。
8月17日 13:40 UTC(持续7小时35分钟)

发生了什么?
问题原因是什么?
流量出现新高峰,将一个数据中心的负载均衡器推至极限。一个服务网格sidecar达到并发限制且未进行扩容。
随着请求积压,数据中心多个负载均衡器节点耗尽网络流量限制,导致共享网关认证路径退化,通过该数据中心的众多服务出现广泛的认证延迟和故障。
一个潜在的客户端重试bug显著放大了对一个内部认证端点的流量,减缓了Copilot Token服务的恢复。核心问题是服务网格sidecar未扩容,加上重试行为,且客户端未充分限制,导致部分退化演变为更广泛的过载。
我们如何应对?
- 流量的新高峰将数据中心的负载均衡器推向极限;服务网格边车代理达到并发限制,无法横向扩展。
- 过载现象蔓延,多个负载均衡节点耗尽网络流量限制,共享认证路径性能下降;问题、拉取请求、API、操作、Copilot及其他服务开始返回错误和延迟响应。
- 自动监控检测到错误率上升并触发事件;受影响产品在公共状态页被标记为降级,来自各受影响服务的工程师开始集中处理问题。
- 工程师将故障定位到单个数据中心负载均衡器的网络饱和问题,开始将部分流量转移至其他数据中心,并减少网关重试次数以缓解压力。
- 团队停止饱和节点上的负载均衡进程,阻断对最受影响的内部端点的重试触发请求,从而实现快速全面恢复。
- 通过逐步恢复流量,缓解由客户端重试放大导致的剩余认证错误;在持续健康指标监测后,事件最终得到解决。
我们如何减少此类事件的发生概率或降低其影响?
- 修正自动扩展策略,使其考虑服务网格边车代理的并发能力和容量,而不仅限于主机服务本身。
- 对受影响服务的整个服务网格进行审查,审计请求、并发和扩展限制。
- 检查网关和客户端的重试及退避限制,防止局部降级被放大为更广泛的过载。
- 修复在事件期间放大认证流量的客户端重试行为。
- 改进负载均衡容量监控,强化区域级故障转移保护机制。
2026年8月20日 14:43 UTC(持续9小时54分钟)

发生了什么?
在事件窗口期间,Copilot云代理任务受到影响。任务本身仍能正常完成,因此没有数据丢失。处理完成后,状态和结果会自动更新。等待片刻或稍后查看即可看到最新状态。
在整个事件期间,至少有54个组织的Copilot云代理任务状态和结果延迟远超其正常水平。每分钟面向客户的影响峰值达到测量任务状态活动量的37.5%。
问题出在哪里?原因是什么?
Copilot云代理将每个代理任务的状态和结果存储在托管云数据库中。该数据库的一个区域遭遇了供应商服务中断,导致受影响区域的读写任务状态的操作开始失败并变慢。
将任务状态更新流式传输到该数据库的处理器因数据库延迟增加而逐渐落后。它们的吞吐能力受固定数量处理分区限制,这些分区是为正常延迟设计的,并包含一定冗余空间。本次事件的延迟远超该冗余空间,导致任务状态更新积压而非减少。数据库的存储配置也使受影响区域的故障转移速度变慢,首次故障转移尝试未能生效,恢复时间超出预期。
我们如何应对?
- 托管云数据库中存储 Copilot 云代理任务状态的某个区域在提供商区域性故障后开始出现故障并运行缓慢。
- 值班工程师被通知,开启了一个事件,并追踪到错误来源是受影响的数据库区域。
- 工程师开始进行区域性故障转移,但未能生效——数据库的存储配置使该区域转移速度缓慢——因此任务状态更新持续积压。
- 团队强制将受影响区域下线,并将任务状态处理转移到健康区域;写入延迟仍然较高,积压状态导致状态视图持续延迟。
- 增加了额外的流处理能力,提供商的区域逐渐恢复,使处理器能够处理积压任务,从而使任务状态和结果追上进度。
- 延迟恢复到正常水平,积压状态清除,事件得到缓解并解决。
我们如何减少此类事件的发生概率或降低其影响?
- 移除导致受影响区域故障转移缓慢的数据库存储配置,使单个区域的问题能够快速退出。
- 改进该数据库的区域性故障转移操作手册,包括经过验证的、有序的备用区域列表以保持服务健康。
- 审查故障转移优先级,确保故障转移时选择的下一个区域是下一个最佳健康选项。
- 提高任务状态流处理对数据库高延迟的容忍度,使延迟峰值不会立即限制吞吐量并造成积压。
- 改进托管数据库的监控和升级机制。
2026年8月26日 15:11 UTC(持续2小时50分钟)

发生了什么?
在事件窗口期间,依赖服务如 Copilot 代码审查和部分基于 actions 的 GitHub Pages 部署受到影响。
在大多数情况下,积压处理完成后延迟运行开始恢复正常,事件结束后重新运行的失败任务最终成功。但最早期部分任务由于无法通过重新运行恢复,必须重新启动。
问题原因是什么?
简要来说,我们的共享基础设施服务未能跟上每月 actions 使用量增长和峰值负载的提升。
大量突发事件在原有高负载基础上涌入,使数据库超出临界点。查询时间飙升,数据库主节点达到饱和。
数据库过载后,将入站事件转换为 runner 分配的内部服务无法跟上处理速度,导致 actions 运行无法启动并远远超出正常启动时间排队。
数据库主节点故障转移仅部分缓解问题。用于缓解入站负载的限流机制初始设置略微过高,未能完全保护数据库,因此恢复过程需要缓慢手动调整。
当数据库出现早期压力迹象时,没有自动熔断机制来限制入站 actions 负载,因此在事件期间必须手动应用和调整保护性限流。这是本次事件的重要经验教训。
我们如何应对?
- 在日常流量高峰期间,大量传入事件涌入时,动作依赖的共享数据库已接近其处理极限。数据库主节点的写入和查询压力急剧上升并开始饱和。
- 将传入事件转换为运行器分配的内部服务已无法跟上处理速度。动作运行开始失败并启动了事件调查。
- 我们将数据库主节点切换到副本。这暂时改善了状况但未能完全缓解问题,因此运行继续失败或延迟启动。
- 我们限制了传入事件的处理速度以减轻数据库压力并使其恢复。在限流和服务重启生效后,核心服务健康状态得以恢复,尽管传入工作现在被有意放慢了。
- 我们逐步提高限流阈值,在每一步都监控遥测数据以避免再次压垮数据库,直到完全恢复事件处理并清空延迟工作的积压任务。我们标记事件已得到缓解。
- 一部分在大型和自托管运行器上运行的任务仍卡在等待运行器的状态。我们部署了更改以释放这些任务,并继续后续工作以清除那些显示为排队状态的遗留运行。
我们如何减少此类事件的发生概率或影响程度?
- 通过优化客户端代码中的特定代码路径来提高数据库使用效率。
- 添加自动熔断器,当数据库出现压力迹象时自动限制传入动作负载,而不是依赖事件期间的手动限流。
- 增加保护机制,限制服务在副本滞后时回退到数据库主节点的频率,防止回退操作加剧数据库压力。
- 提高在事件后快速取消或清除卡在排队或等待运行器状态的运行的能力,使受影响任务能更快恢复。
- 继续推进动作系统相关部分的扩展性和弹性工作,包括在事件发生时正在完成和部署的更改。
2026年8月27日 10:04 UTC(持续2小时8分钟)

发生了什么?
使用Kimi K3模型配置的客户受到此次事件影响。使用其他模型或切换到其他模型的客户未受影响。
问题出在哪里?原因是什么?
Copilot提供多种AI模型选择。其中Kimi K3模型由上游模型提供商提供服务。
该提供商出现了服务性能下降,导致大量Kimi K3请求失败并出现错误。由于问题是上游提供商引起的,使用其他模型的请求以及使用自动设置(会路由到不同模型)的请求未受影响。
在提供商的缓解措施生效前,Kimi K3请求持续出现失败。高峰期时,超过一半的Kimi K3请求都失败了。
我们如何应对?
- Kimi K3 的上游提供商出现性能下降,导致发送到该模型的 Copilot 请求故障率升高。
- 几分钟后,监控系统检测到异常错误并触发告警,我们随即开始调查。
- 我们启动事件响应流程,追踪发现故障源于上游提供商针对 Kimi K3 的特定性能退化,并在状态页面上公开说明问题指向提供商。
- 使用其他模型或自动模式的请求始终正常运行,因此重试或切换模型可以成功恢复服务。
- 我们向提供商提交工单并持续监控恢复进度,随着仪表板上的成功率逐步回升至正常水平。
- 我们在提供商确认 Kimi K3 完全恢复前保持事件开放状态,确认完成后才关闭事件。
我们如何降低此类事件的发生概率或影响范围?
- 与上游提供商合作提升 Kimi K3 模型的可靠性,减少类似事件中的错误率
- 为 Kimi K3 探索备用服务能力,使单个提供商的性能退化具备回退方案
- * *
通过我们的状态页面获取实时状态变更和事件复盘更新。想了解我们正在推进的工作,欢迎访问 GitHub 博客 的工程专题。