How DeepL keeps closest-exit routing during maintenance with AWS Cloud WAN

TL;DR · AI 摘要
DeepL通过AWS Cloud WAN和AS_PATH prepend技术,在维护期间保持最近出口路由,避免流量中断并降低延迟。
核心要点
- AWS Cloud WAN原生Direct Connect网关自2024年11月可用
- AS_PATH prepend实现单区域流量重定向而不影响其他区域
- 混合架构通过三个欧洲Direct Connect地点实现地理冗余
结构提纲
按章节快速跳转。
- §引言
介绍DeepL全球多区域混合架构面临的维护挑战
- ·架构概述
描述包含三个欧洲Direct Connect地点和AWS Cloud WAN核心网络的冗余设计
- ›解决方案
通过AS_PATH prepend实现单链路维护期间的流量重定向
- ·实施细节
原生Direct Connect网关与核心网络的集成方式及路由策略
- ›权衡分析
维护期间跨区域数据传输的代价与收益对比
- §结论
AWS Cloud WAN为全球路由提供可扩展的混合网络解决方案
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- DeepL的AWS Cloud WAN路由策略
- 架构设计
- 多区域混合云
- 三中心Direct Connect
- 核心解决方案
- AS_PATH prepend
- 原生网关集成
- 实施效果
- 零中断维护
- 跨区域数据传输代价
金句 / Highlights
值得收藏与分享的关键句。
AS_PATH prepend仅影响维护区域的路由选择,其他区域保持本地出口
原生Direct Connect网关附件功能自2024年11月起可用
三个欧洲Direct Connect地点通过25Gbps Megaport连接实现冗余
DeepL如何在AWS Cloud WAN维护期间保持最近出口路由 | AWS架构博客
DeepL如何在AWS Cloud WAN维护期间保持最近出口路由
DeepL是一家语言AI公司,其构建的书面和实时AI语音翻译产品被全球20多万个企业团队使用。其基础设施横跨欧洲、北美和亚洲的多个AWS区域,并通过混合连接方式回传至两个欧洲数据中心。
将单个AWS Direct Connect链路下线进行计划维护是一项常规任务,但在多区域混合网络中需要格外谨慎。DeepL通过Direct Connect将其AWS区域连接到数据中心,并依赖默认的最近出口出站行为来保持低延迟。在维护期间,团队的目标是在不影响其他区域使用本地出口的情况下,将某条链路的流量引流。
本文将介绍DeepL如何通过AWS Cloud WAN和一个原生连接到核心网络的Direct Connect网关实现这一目标。在维护的链路上添加AS_PATH前缀仅将该区域的流量引导至其他位置,而其他区域仍保持本地出口。同时本文也将探讨相关权衡,包括链路下线期间的跨区域数据传输。
本文面向大规模混合连接的网络架构师和云平台团队,适用于正在评估AWS Cloud WAN全球路由方案,或正在处理跨区域Direct Connect流量工程的读者。
DeepL的混合架构
DeepL在多个AWS区域运行工作负载,包括欧洲的三个区域(爱尔兰的eu-west-1、法兰克福的eu-central-1和斯德哥尔摩的eu-north-1),美国的两个区域(us-east-1和us-west-2),以及日本东京的ap-northeast-1。每个区域都有多个虚拟私有云(VPC)和账户。本地方面,两个欧洲数据中心通过具有专用光纤的弹性多协议标签交换(MPLS)网络连接。
连接设计旨在实现地理冗余:
- 三个AWS Direct Connect位置(都柏林、哥本哈根和斯德哥尔摩),每个位置都通过AWS Direct Connect合作伙伴Megaport提供托管的25 Gbps连接。
- 一个AWS Cloud WAN核心网络,包含多个区域的核心网络边缘(CNE),用于连接该区域的VPC和账户。
- 一个全局Direct Connect网关,连接到所有三个Direct Connect位置,并原生连接到核心网络。AWS Cloud WAN的原生Direct Connect网关附件功能自2024年11月起可用。
- 两个数据中心的本地路由器广播相同的前缀,使Direct Connect网关能够通过所有三个Direct Connect位置学习这些前缀(此处简化为单个/16前缀)。
下图展示了该架构。
图1:DeepL的混合架构与AWS Cloud WAN
在稳态运行时,DeepL不进行额外的流量工程。默认情况下,出站流量通过离源点最近的Direct Connect位置离开AWS:来自eu-west-1的流量通过都柏林,来自eu-central-1的流量通过哥本哈根,来自eu-north-1的流量通过斯德哥尔摩。这种最近出口行为可保持低延迟并避免额外配置。
通过单链路维护最小化网络影响
DeepL 希望在某个 Direct Connect 位置的维护窗口期间将路由器下线。在此期间,必须将流量从该单个链路转移出去,而其他两个位置则继续为各自的区域提供服务。对于运营多个 Direct Connect 位置的企业来说,这是常见的需求。
egress 决策的制定位置
在更改任何边界网关协议(BGP)属性之前,了解哪个组件负责 egress 决策会有所帮助,因为这决定了哪些属性会影响该决策。当 Direct Connect 连接到 AWS Cloud WAN 核心网络时,路径选择发生在两个位置:
- Direct Connect 网关。
- 每个核心网络边缘。
Direct Connect 网关上的路径选择
对于可通过多个 Direct Connect 位置访问的前缀,Direct Connect 网关会优先选择具有最高 BGP 本地优先级的路径。默认情况下,AWS 会在与流量来源区域相关联的 Direct Connect 位置上设置中等本地优先级(社区 7224:7200),而在其他位置设置较低值。本地优先级在 AS_PATH 之前进行评估。在某个前缀上设置本地优先级社区会为网关服务的所有区域应用相同的排名,这适用于希望在所有位置都使用相同首选位置的设计。
关键细节是本地优先级在 BGP 最佳路径顺序中的位置。当路由器有多个到达同一目的地的路由时,它会遍历一个有序的决胜条件列表,并在第一个产生胜出者条件处停止。在 AWS 侧,前几步是:
- 最长前缀匹配。
- 最高本地优先级(在此处做出最近出口决策)。
- 最短 AS_PATH。
- 最低 MED。
本地优先级在 AS_PATH 之前进行评估。正如 Direct Connect 文档所述:“本地优先级 BGP 社区标签在任何 AS_PATH 属性之前进行评估。” 由于默认本地优先级已为 eu-west-1 流量选择了都柏林位置,因此都柏林路径的更长 AS_PATH 不会改变网关的选择。流量转移效果体现在核心网络边缘,如下一节所示。
核心网络边缘的路径选择
每个核心网络边缘从 Direct Connect 网关接收保留 AS_PATH 的本地路径。Direct Connect BGP 社区仅对 Direct Connect 网关相关,不影响核心网络的路由决策。每个边缘还会从核心网络中的对等边缘学习到相同的前缀,而这些路径由于对等边缘添加了自己的自治系统编号(ASN),因此每个路径都多了一个 AS 跳跃。核心网络边缘首先评估 AS_PATH 长度,因此默认情况下每个边缘会优先选择通过 Direct Connect 网关的路径,而不是来自对等边缘的路径。对于 DeepL 环境中的三个欧洲区域,这就是通过该区域本地 Direct Connect 位置的路径。参见 AWS Cloud WAN 中的 Direct Connect 网关连接。
下图展示了 eu-west-1 核心网络边缘在稳态下如何选择出口。
图 2:eu-west-1 核心网络边缘的路径选择
这为 DeepL 提供了按区域调整的杠杆。对本地路径的 AS_PATH 预处理使其路径变长,只会改变使用该位置的核心网络边缘的决策。
为什么 DeepL 不使用本地优先级进行流量引流:默认情况下,Direct Connect 网关会为每个区域分配其专属的首选位置:与该区域关联的 Direct Connect 位置。这种默认设置使每个区域都能使用最近的出口,且仅在前缀未携带本地优先级社区属性时生效。一旦您对某个前缀进行标记,您的排名将立即取代默认设置,并同时适用于所有区域。DeepL 会从两个数据中心同时宣告相同的 /16 前缀,因此降低都柏林宣告的优先级会改变所有区域的出口,而不仅仅是 eu-west-1 区域。未被引流的区域将失去其最近的出口。若要实现每个区域的差异化排名,则需要每个位置使用更具体的前缀,这正是 DeepL 想要避免的 per-link 配置。
实际维护引流操作
为了引流都柏林链路,DeepL 会从其本地路由器向都柏林虚拟接口宣告的前缀中添加 AS_PATH 前置。这会产生两个效果:
- 添加至少两个前置后,eu-west-1 边缘从 Direct Connect 网关接收到的路径将比从 eu-central-1 和 eu-north-1 边缘学到的路径更长。此时 eu-west-1 边缘将优先选择对等路径。当两个对等边缘提供相同路由时,AWS Cloud WAN 会选择其中一个。eu-west-1 的流量将通过核心网络,并从哥本哈根或斯德哥尔摩的 Direct Connect 位置出口。
- eu-central-1 和 eu-north-1 边缘保持不变。它们从 Direct Connect 网关的本地路径仍然是最短的,因此除被引流的区域外,所有区域的最近出口都得以保留。
下图展示了都柏林链路引流期间的出口路径。
图3:通过本地 AS_PATH 前置引流都柏林 Direct Connect 链路
引流期间所有 BGP 会话保持连接。前置操作使都柏林路径的优先级降低,因此流量在链路断开前已转移。由于没有撤回路由,DeepL 避免了路由撤回导致的收敛间隙。在三个欧洲边缘中,只有 eu-west-1 边缘改变了其路由决策。
逐步引流都柏林链路
首次应在非生产环境验证每一步骤。
- 确认稳态:每个区域的核心网络边缘都通过其本地 Direct Connect 位置出口。
- 向 DeepL 在都柏林 Direct Connect 虚拟接口宣告的前缀添加本地 AS_PATH 前置(至少两个前置,DeepL 使用五个),使 eu-west-1 边缘从 Direct Connect 网关接收到的路径比从对等边缘学到的路径更长。
- 在 DeepL 的本地路由器上降低都柏林会话的 BGP 本地优先级,使流向 AWS 的流量转向哥本哈根和斯德哥尔摩的 Direct Connect 位置。
- 验证 eu-west-1 边缘现在选择从 eu-central-1 或 eu-north-1 边缘学到的路径,并确认这两个边缘仍保持本地出口。
- 确认双向流量已从都柏林链路转移且稳定。
- 对被引流的都柏林链路执行物理或路由器维护。
- 撤销更改:移除前置,恢复都柏林会话的本地优先级,并确认 eu-west-1 边缘重新切换到本地都柏林路径。
注意事项
在使用此模式前,请考虑以下内容:
- 跨区域数据传输:在流量引流期间,eu-west-1区域的流量会通过核心网络跨区域传输。请为维护窗口期间的跨区域数据传输费用做好准备。
- 前缀数量:至少使用两个前缀添加。单个前缀仅能将路径长度与对等路径关联,当出现路径长度相同时,AWS Cloud WAN会优先选择从Direct Connect网关传播的路由,因此被引流的位置仍会被使用。DeepL为安全余量使用五个前缀。
- 备用位置:在默认路径选择模式下,AWS Cloud WAN会在等价对等路径之间进行选择,因此您无法控制哥本哈根或斯德哥尔摩是否接收被转移的流量。路由策略(将在下一章节介绍)可以解决这个问题。
- 指向AWS的流量:前缀添加仅能控制离开AWS的流量方向。数据中心到AWS的流量由DeepL自身的路由器决定。在引流期间,DeepL会降低其路由器上通过都柏林会话学习到的路由的BGP本地优先级,使这部分流量也转移到非引流链路,并在之后恢复。此设置仅影响DeepL自身的路由器,与之前提到的Direct Connect本地优先级社区(DeepL未使用该功能)是独立的。由于两个方向的路由选择相互独立,流量可能通过一个位置离开AWS,再通过另一个位置返回。如果路径中有有状态防火墙,流量必须对称,因此请确保两个方向使用相同的备用位置。
- 无本地Direct Connect位置的区域:在引流前后,需检查没有本地Direct Connect位置的区域(如DeepL案例中的美国和东京区域)的出站流量,确认它们均未使用被引流的链路。
DeepL的下一步:AWS Cloud WAN路由策略
维护引流操作使用AWS Cloud WAN的默认路径选择功能,无需路由策略。未来,DeepL计划采用路由策略。
AWS Cloud WAN路由策略是按优先级排序的规则,可对核心网络内的路由传播和BGP路径属性进行显式控制。DeepL的路线图包含两个使用场景:
- 确定性维护故障转移:在默认路径选择模式下,AWS Cloud WAN会选择剩余位置中接收转移流量的节点。通过路由策略,DeepL可以设置显式偏好,使被引流区域的流量转移到由DeepL指定的位置。
- 路由过滤与汇总:随着DeepL新增位置,路由策略可以在核心网络中汇总路由,而非为每条链路手动创建更具体的路由。这有助于保持广播路由数量的可控性。
结论
对于依赖默认最近出口出站策略的多区域企业,更改BGP属性前识别出站决策点的位置非常重要。由于Direct Connect直接连接到AWS Cloud WAN,每个核心网络边缘设备会基于保留的本地AS_PATH进行决策。DeepL利用这一特性,在通过AS_PATH前缀添加引流单条Direct Connect链路时,其他所有区域仍可使用本地出口。下一步,DeepL计划使用AWS Cloud WAN路由策略选择备用位置并实现路由汇总。
如果你正在大规模运营多区域Direct Connect,请查看AWS Cloud WAN中的Direct Connect网关附件,了解如何通过AWS Cloud WAN与AWS Direct Connect集成简化全球混合连接,以及Direct Connect路由策略和BGP社区。在下次维护窗口之前,请务必在测试环境中验证排水功能。
要了解更多关于AWS Cloud WAN的信息,请访问AWS Cloud WAN产品页面。
致谢
我们感谢DeepL网络团队与我们合作撰写本文,并与社区分享他们的架构和运营经验。
作者简介
'"`