AWS Architecture Blog

Automating the full AWS DRS agent lifecycle: Install, heal, and offboard

8.5内容质量
Automating the full AWS DRS agent lifecycle: Install, heal, and offboard

TL;DR · AI 摘要

AWS通过自动化管理DRS代理全生命周期,解决安装停滞和卸载后计费问题,采用SSM Automation与EventBridge实现。

核心要点

  • 使用SSM Automation文档实现安装、修复和卸载三阶段自动化
  • EC2标签值(yes/pause/no)决定实例所处生命周期阶段
  • EventBridge触发修复流程时响应AWS DRS报告的停滞服务器

结构提纲

按章节快速跳转。

  1. AWS DRS代理生命周期管理存在安装停滞和卸载后持续计费的痛点

  2. 通过SSM Automation文档实现安装、修复、卸载三阶段自动化管理

  3. 需要AWS账户、双Region配置、网络连通性等基础环境支持

  4. 基于EC2标签触发不同阶段的SSM Automation文档执行

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • AWS DRS代理自动化
    • 生命周期阶段
      • 安装
      • 修复
      • 卸载
    • 技术实现
      • SSM Automation
      • EventBridge触发

金句 / Highlights

值得收藏与分享的关键句。

#AWS#DRS#自动化#云架构
打开原文

自动化 AWS DRS 代理全生命周期:安装、修复与下架 | AWS 架构博客

自动化 AWS DRS 代理全生命周期:安装、修复与下架

如果你使用 AWS 弹性灾难恢复(AWS DRS)保护大量 Amazon 弹性计算云(Amazon EC2)实例,就需要管理 AWS 复制代理的完整生命周期。你需要安装它,保持其健康状态和注册状态,并在服务器脱离灾难恢复(DR)范围时干净地移除它。一家拥有 300 多个 Linux 和 Windows 实例的 DR 范围企业 IT 客户在计划和验证预定的 DR 演练时遇到了两个问题。一些代理在网络变更后停滞,一些脱离范围的服务器仍在复制并产生账单。带有停滞代理的服务器无法满足你的恢复点目标(RPO),即中断后可接受的最大数据丢失量。该客户团队在每次演练前都会在 AWS DRS 控制台检查复制状态,因此两次演练之间出现的问题可能要到下一次演练时才会被发现。

与该客户合作,我们自动化了生命周期的安装、修复和下架阶段。本文大部分设计选择都源于解决这两个问题。每个阶段都作为 AWS 系统管理器(SSM)自动化文档运行,由 Amazon EventBridge 或按计划触发。单个 EC2 标签决定了实例适用的阶段。由于逻辑存在于自动化文档中,因此无需维护 AWS Lambda 函数。当你将实例移出范围时,自动化会记录复制计费是否确实停止。

你可以在 aws-samples/sample-drs-agent-lifecycle-automation GitHub 仓库中找到 SSM 自动化文档、AWS 身份和访问管理(IAM)策略以及部署脚本。

解决方案概述

你为每个 EC2 实例应用 DR 标签,其值(yes、pause 或 no)告诉自动化应该执行什么操作。三个 SSM 自动化文档分工协作。安装阶段会安装和修复代理并保持注册状态健康。修复阶段会在复制停滞时响应,下架阶段则在实例脱离范围时执行清理。

AWS 系统管理器状态管理器按照 30 分钟的计划针对带标签的实例运行安装。Amazon EventBridge 在 AWS DRS 报告服务器停滞时触发修复,在 DR 标签更改时触发下架。自动化主要在源 AWS 区域运行,仅在 AWS DRS 需要时调用 DR 区域。

先决条件

要部署此解决方案,你需要:

  • 具有管理权限的 AWS 账户。
  • 配置了两个 AWS 区域:一个源区域(你的 EC2 实例运行于此)和一个 DR 区域(AWS DRS 复制到此)。
  • 在源区域(用于回退)和 DR 区域(用于复制)中都初始化了 AWS 弹性灾难恢复。
  • 区域间网络连接,开放 TCP 443 端口(AWS DRS API 和 Amazon 简单存储服务(Amazon S3))和 TCP 1500 端口(复制数据)。对于私有连接,使用 AWS 传输网关或 VPC 对等连接。也支持公共端点。
  • (可选)如果使用私有连接,在 DR 区域中为 AWS DRS 和 Amazon S3 设置 Amazon 虚拟私有云(Amazon VPC)端点。
  • 部署 AWS CloudFormation 堆栈以创建命名 IAM 角色 (CAPABILITY_NAMED_IAM)、Amazon EventBridge 规则和 State Manager 关联,以及注册 SSM Automation 文档所需的 IAM 权限。您还需要对 DRS-Automation-Role 具有 iam:PassRole 权限,因为 EventBridge 规则和 State Manager 关联使用了该角色。
  • 安装并配置 AWS 命令行界面 (AWS CLI)。
  • 每个源 EC2 实例上的实例配置文件需附加 AWSElasticDisasterRecoveryAgentInstallationPolicy 和 AmazonSSMManagedInstanceCore 管理策略,以便实例由 Systems Manager 管理。如果实例已有实例配置文件,请将这两个策略附加到其角色上。
  • 一个现有的 Amazon Simple Notification Service (Amazon SNS) 主题用于通知。
  • (可选) 一个现有的 Amazon S3 存储桶用于审计报告。
  • Git、Bash 4 或更高版本以及 yq。部署脚本使用 yq 读取 config.yaml。macOS 默认包含 Bash 3.2,因此需要安装更新版本,例如通过 Homebrew 安装。

您无需手动创建自动化所需的 IAM 角色。CloudFormation 模板会自动创建 DRS-Automation-Role(用于执行所有生命周期操作)和 DRS-EventBridge-Forward-Role(与 DR Region 堆栈一起部署),同时在两个区域中创建 EventBridge 规则和 State Manager 关联。Amazon CloudWatch 指标会自动发布。

一个标签控制整个生命周期

部署解决方案后,每个 EC2 实例上的 DR 标签值将决定自动化执行的操作:

DR 值 | 状态 | 执行操作 --- | --- | --- yes | 受保护 | 安装代理、应用回退标签、每 30 分钟维护健康状态 pause | 静止 | 保持代理安装状态、抑制暂停警报、阻止移除操作 no 或已删除 | 移除范围 | 停止复制、删除源服务器、卸载代理 其他值(例如,DR=maybe、DR=true) | 配置错误 | 安全机制:跳过该实例并记录 SKIPPED_MISCONFIGURED 状态。不安装、不修复、不拆除,防止未识别值触发错误操作

标签值在评估前会进行标准化处理(去除空格并转为小写)。例如 DR=Yes 会标准化为 DR=yes 并正确匹配。

三个 SSM Automation 文档共同管理生命周期:

  • DRS-Agent-Onboard:通过 State Manager 每 30 分钟针对 DR=yes 的实例执行。安装或修复代理、应用 AWSDRS:AllowLaunchingIntoThisInstance 标签、验证 AWS DRS 注册。该标签指示 AWS DRS 在回退时将恢复实例部署到原始实例,并作为漂移修正的最终保障。State Manager 每 30 分钟重新评估标签实例。每次运行会检测丢失复制代理的实例、尚未完成上板的新标签实例,以及之前静默失败的运行。
  • DRS-Agent-Heal:当 Amazon EventBridge 接收到复制停滞事件(从 DR Region 跨区域转发)时触发。规则过滤 STALLED 状态,防止恢复转换触发不必要的运行。检查复制错误以区分代理故障和基础设施问题。对于代理问题,首先重启服务,仅在重启无效时才进行原地重新安装。对于基础设施导致的停滞,通过 Amazon SNS 向操作人员升级问题。
  • DRS-Agent-Offboard 在 Amazon EventBridge 检测到 DR 标签变更或删除时触发。退订文档首先验证防护措施:标签重新检查、已终止实例防护和可选的审批门禁。通过这些检查后,它会记录复制状态并停止复制。随后断开源服务器连接、删除实例、卸载复制代理并清除标签。

组件连接方式

该方案主要在源区域运行。跨区域调用仅在 AWS DRS 需要时发生(注册检查和拆除 API 调用目标为 DR 区域)。

下图展示了自动化组件如何在源区域和 DR 区域之间连接。State Manager 和 Amazon EventBridge 在源区域运行;AWS DRS 复制和停滞转发规则在 DR 区域运行。

图 1:AWS DRS 代理生命周期自动化架构跨源区域和 DR 区域

在源区域,State Manager 每 30 分钟运行一次上架文档,Amazon EventBridge 规则在事件到达时启动修复和退订文档。AWS Systems Manager Parameter Store 存储 DR 事件暂停标志(/drs/control/event-in-progress)。DRS-Automation-Role IAM 角色执行所有自动化步骤。Amazon SNS 发送警报,Amazon S3 存储每事件审计报告,Amazon CloudWatch 记录结果指标。

在 DR 区域,AWS DRS 管理源服务器注册和持续复制。AWS DRS 仅在 DR 区域发出复制事件(源服务器在此注册)。Amazon EventBridge 转发规则按 STALLED 状态过滤复制停滞事件,随后将其发送至源区域进行修复。AWS DRS 管理的中转子网和 Amazon Elastic Block Store(Amazon EBS)卷支持复制基础设施。

网络方面,AWS Transit Gateway(跨区域连接 VPC)承载 TCP 443(AWS DRS API 和 S3)和 TCP 1500(复制数据)跨区域流量。AWS DRS 和 S3 的 Amazon VPC 终端节点使流量保持在 AWS 背骨网络,避免互联网暴露。Amazon Route 53 私有托管区域(用于 VPC 内 DNS 解析)将终端节点名称解析为私有 IP,消除了 --endpoint 安装标志需求并保护回退兼容性。

标签和规则示例

部署解决方案后运行这些命令。为实例添加保护标签:

code
aws ec2 create-tags --resources i-0abc123def456 --tags Key=DR,Value=yes

移除实例保护标签(触发退订):

code
aws ec2 create-tags --resources i-0abc123def456 --tags Key=DR,Value=no

或完全删除标签(同样触发退订):

code
aws ec2 delete-tags --resources i-0abc123def456 --tags Key=DR

触发退订的 Amazon EventBridge 规则匹配以下模式:

code
{
  "source": ["aws.tag"],
  "detail-type": ["Tag Change on Resource"],
  "detail": {
    "changed-tag-keys": ["DR"],
    "service": ["ec2"],
    "resource-type": ["instance"]
  }
}

触发修复的 Amazon EventBridge 规则按 STALLED 状态过滤,忽略恢复转换:

code
{
  "source": ["aws.drs"],
  "detail-type": ["DRS Source Server Data Replication Stalled Change"],
  "detail": {
    "state": ["STALLED"]
  }
}

三层保护 RPO

本文中提到的15分钟RPO是一个由客户配置的目标,而非AWS服务的保证。该架构通过三个互补层级提供保护,每个层级针对不同的故障模式。

第1层:操作系统服务自动重启(秒级)。代理服务在Linux上使用systemd Restart=always,在Windows上使用Windows服务恢复功能。当进程停止时,操作系统会自动重启服务。Linux系统下,systemd几乎可以立即重启服务;Windows系统下,首次恢复操作会在可配置的延迟后触发(默认30秒)。该层级可处理代理进程崩溃,无需任何自动化操作。

第2层:Amazon EventBridge修复(分钟级,非秒级)。如果代理消失或无法维持注册,AWS DRS会检测到停滞并发出DR区域的复制停滞事件。转发规则会过滤STALLED状态,将事件跨区域发送到源区域的事件总线。匹配的接收规则会触发修复文档。

修复文档首先重启代理(大多数停滞为临时性)。如果重启失败,会就地重新运行安装程序,保留驱动状态以避免全盘重新扫描。重启路径是两种方式中更快的,总耗时取决于环境和AWS DRS停滞检测延迟。重新安装路径耗时更长,因为代理需要重新建立块级跟踪。停滞检测延迟也会占用窗口时间,因为必须累积延迟后服务才会将服务器标记为停滞。

第3层:State Manager后备机制(最长30分钟)。入网文档每30分钟重新评估DR=yes实例,捕捉快速层级可能遗漏的漂移和边缘情况。该机制超出15分钟RPO目标,因此作为安全网而非主要防护手段。

第2层需要两个区域的Amazon EventBridge数据平面均正常运行,而第1层和第3层完全在源区域运行。

入网:持续收敛如何运作

State Manager目标标签:DR=yes。已带有该标签的实例以及后续添加该标签的实例会自动包含在内,无需手动注册。

入网文档具有幂等性。它会跳过健康且已注册的实例。对于需要处理的实例,会检查停用标志和实例状态,验证操作系统(Linux或Windows),并将不支持的架构标记为TAGGED_UNSUPPORTED。如果AutoInstallEnabled为false,运行将仅执行审计操作。

对于实际安装,并发锁(Linux使用flock,Windows使用命名互斥体)可防止同一实例上多个自动化操作重叠时的竞态条件。该锁已内置在文档中,无需配置。State Manager关联在templates/state-manager-association.yaml中将MaxConcurrency设为10,MaxErrors设为100%。MaxConcurrency限制同时处理的实例数量。当MaxErrors设为100%时,一个实例的故障不会影响整个舰队的运行。对于更大规模的舰队,应逐步提高MaxConcurrency并监控AWS DRS API限流情况。

回退标签(AWSDRS:AllowLaunchingIntoThisInstance)仅在确认代理存在时应用。注册状态跨区域评估,如果实例在可配置阈值(默认:3次运行)后仍处于PENDING_REGISTRATION状态,文档会通过Amazon SNS升级告警。每次执行都会写入S3审计记录并生成CloudWatch指标。

修复文档从事件中读取源服务器ARN,并在DR区域使用drs:DescribeSourceServers查找匹配的EC2实例ID。随后检查停机标志和标签状态。若值不是"yes",则不会执行修复操作且不发出警报。

如果重启无法解决问题,自动化流程将作为回退方案原地重新运行安装程序。不会先卸载,因此现有复制驱动程序在可能的情况下保持完整。重新安装可能触发块级重新扫描,其持续时间与磁盘总大小成正比。在大容量卷上,重新扫描完成前可能会暂时超出RPO窗口。

并非所有停滞都是代理问题。带宽限速、复制服务器配置不足或暂存区磁盘问题也可能导致停滞。自动化流程通过Amazon SNS将这些非代理停滞升级给操作人员,而不是尝试代理修复。如果重新安装后复制代理仍无法正常工作,您将收到包含诊断详细信息的HEAL_FAILED通知。

仅重启AWS DRS代理服务本身,不会重启EC2实例。您的工作负载将继续运行而不会中断。

带诚实计费状态的卸载

当您设置DR=no或删除标签时,Amazon EventBridge会触发资源上的标签更改事件。卸载文档在拆除前应用多项保护措施。

终止实例防护:EC2终止操作会剥离标签,生成与有意缩小范围相同的事件。文档会发送警报并停止执行。不会删除包含恢复点的源服务器。

标签重新检查:如果标签已恢复,文档将退出。

审批门禁:如果AutoOffboardEnabled为false,文档会发送通知并停止执行。

状态记录:在修改资源前,会捕获复制状态、滞后时长和最后一次快照时间。

恢复实例检查:在完成拆除前,卸载文档会检查是否存在活动的恢复实例。如果发现,会在审计报告中标记并发送SNS警报。恢复实例会产生独立的EC2计费,即使源服务器已删除,计费仍会持续。

自适应重试:最多进行10次指数退避重试以处理批量缩小范围期间的API限流。

拆除后,文档会检查实际成功的内容:

结果

含义

code
COMPLETED

源服务器已删除,计费已停止

code
BILLING_STOPPED_ORPHAN

复制已停止但删除未成功。操作员必须手动删除。

code
FAILED
code
stop_replication

未成功。计费可能仍处于活动状态。建议操作员进行审查。

code
NO_SERVER

实例未注册为AWS DRS源服务器。干净的无操作。

由于每个结果都反映了实际成功的操作,您可以确定复制计费是否已停止,或者是否需要对源服务器进行人工后续处理。

安全性:最小权限IAM角色

该解决方案创建两个IAM角色,并依赖您提供的一个角色。SSM自动化和Amazon EventBridge假设DRS-Automation-Role来执行所有生命周期操作。其权限涵盖SSM、EC2标签、跨区域AWS DRS调用、SNS、S3、参数存储以及对自身的iam:PassRole权限。iam:PassRole权限仅允许将此角色传递给Systems Manager。Run Command仅限于标记为DR=yes的实例。在DR区域中,DRS-EventBridge-Forward-Role只能将事件放入源区域的默认事件总线。

在每个 EC2 实例上,前提条件中的实例配置文件使复制代理和 SSM 代理能够访问其服务。自动化流程不会存储长期凭证。每个角色在被使用时会获得临时凭证。当使用私有连接时,跨区域流量会保留在 Transit Gateway 和 VPC 端点上。

部署解决方案

从审计模式开始,在此模式下,上架文档会报告将安装的内容,而不会更改任何实例,下架时会发送通知而不是执行拆除操作。查看审计报告后,先为一小部分实例启用安装功能,然后再扩展到整个实例集群。

配置 config.yaml

克隆仓库并进入其目录:

code
git clone https://github.com/aws-samples/sample-drs-agent-lifecycle-automation.git
cd sample-drs-agent-lifecycle-automation
``

部署脚本从仓库根目录的 config.yaml 读取您的设置。在部署前设置以下示例中的值。仓库中的文件还会设置文档名称和堆栈名称。请保持这些值为默认值,因为本文中的命令使用的是默认名称。

code
# 区域配置
source_region: us-west-1        # 运行 EC2 实例的区域
dr_region: us-east-2            # AWS DRS 复制到的区域
account_id: "111122223333"      # 您的 AWS 账户 ID

# 可观测性
sns_topic_name: drs-alerts      # 用于通知的现有 SNS 主题
amzn-s3-demo-audit_bucket: ""           # 用于审计报告的现有 S3 存储桶;留空则关闭审计报告
cloudwatch_namespace: DRSAutomation

# 自动化开关(从审计模式开始)
auto_install_enabled: "false"   # false = 仅报告;true = 安装并修复代理
auto_offboard_enabled: "false"  # false = 仅通知;true = 在下架时执行拆除

# 标签配置
dr_tag_key: DR
dr_protected_value: "yes"
dr_descope_value: "no"

# 停用控制与计划
stand_down_parameter: /drs/control/event-in-progress
schedule_rate: "rate(30 minutes)"
``

下表描述了您最可能需要修改的值。

参数

必需

描述

code
source_region
``

托管您的 EC2 实例和自动化流程的区域

code
dr_region
``

AWS DRS 复制到的区域

code
account_id
``

托管自动化流程的 AWS 账户

code
sns_topic_name
``

源区域中现有 SNS 主题的名称

code
amzn-s3-demo-audit_bucket
``

否

用于 JSON 审计报告的现有 S3 存储桶。留空则跳过审计报告

code
auto_install_enabled
``

设置为

code
false
``

仅报告,或设置为

code
true
``

安装并修复代理

code
auto_offboard_enabled
``

仅通知,或在下架实例时运行拆除

code
dr_tag_key
``

控制生命周期的 EC2 标签键(默认

code
DR
``

部署解决方案

以下步骤分别部署每个组件,以便您查看每个组件创建的内容。从克隆的仓库根目录运行命令。将示例账户 ID(111122223333)和区域(us-west-1 和 us-east-2)替换为您的值。

如果希望一次性部署所有内容,可在编辑 config.yaml 后运行 ./scripts/deploy.sh,然后跳至第 6 步后的确认命令。脚本在完成时会打印每个堆栈的状态。如果没有安装 yq,脚本将回退到内置默认值,包括占位符账户 ID。请使用脚本或单独步骤进行部署,不要同时使用两者。

  • 部署 IAM 角色堆栈。该模板会创建一个具有明确名称(DRS-Automation-Role)的角色,因此需要 CAPABILITY_NAMED_IAM 权限。执行以下命令:
bash
  aws cloudformation deploy \
    --template-file templates/iam-roles.yaml \
    --stack-name drs-automation-iam \
    --capabilities CAPABILITY_NAMED_IAM \
    --region us-west-1 \
    --parameter-overrides \
    AccountId=111122223333 \
    SourceRegion=us-west-1 \
    DRRegion=us-east-2 \
    SNSTopicName=drs-alerts
  • 注册三个 SSM 自动化文档。脚本会从 config.yaml 读取 source_region 参数,并在首次运行时从 documents/ 文件夹创建文档。后续运行时,如果文档有变更,会发布新版本。执行以下命令:
bash
  ./scripts/register-documents.sh
  • 在源区域部署 Amazon EventBridge 规则。该堆栈会创建触发下架流程的标签变更规则和触发修复流程的规则。由于使用现有 DRS-Automation-Role 角色,因此不需要 CAPABILITY_NAMED_IAM 权限。执行以下命令:
bash
  aws cloudformation deploy \
    --template-file templates/eventbridge-source.yaml \
    --stack-name drs-eventbridge-source \
    --region us-west-1 \
    --parameter-overrides \
    AutomationRoleArn=arn:aws:iam::111122223333:role/DRS-Automation-Role \
    TargetRegion=us-east-2 \
    SNSTopicArn=arn:aws:sns:us-west-1:111122223333:drs-alerts \
    AutoOffboardEnabled=false
  • 在 DR 区域部署转发规则。该堆栈会创建 DRS-EventBridge-Forward-Role 角色,允许规则将停滞事件发送到源区域的事件总线,因此需要 CAPABILITY_NAMED_IAM 权限。执行以下命令:
bash
  aws cloudformation deploy \
    --template-file templates/eventbridge-dr.yaml \
    --stack-name drs-eventbridge-dr \
    --capabilities CAPABILITY_NAMED_IAM \
    --region us-east-2 \
    --parameter-overrides \
    SourceRegion=us-west-1 \
    AccountId=111122223333
  • 在 Parameter Store 中创建 stand-down 标志,值设为 false。脚本会从 config.yaml 读取参数名称和区域,不会覆盖现有值。执行以下命令:
bash
  ./scripts/init-parameters.sh

如果不想使用脚本,可以运行以下命令替代:

bash
  aws ssm put-parameter --name /drs/control/event-in-progress \
    --value false --type String --region us-west-1
  • 以审计模式部署 State Manager 关联。该关联在创建后立即运行一次,之后每 30 分钟运行一次。执行以下命令:
bash
  aws cloudformation deploy \
    --template-file templates/state-manager-association.yaml \
    --stack-name drs-state-manager \
    --region us-west-1 \
    --parameter-overrides \
    AutomationRoleArn=arn:aws:iam::111122223333:role/DRS-Automation-Role \
    TargetRegion=us-east-2 \
    AutoInstallEnabled=false \
    SNSTopicArn=arn:aws:sns:us-west-1:111122223333:drs-alerts

确认部署状态,请运行以下命令:

bash
aws cloudformation describe-stacks --region us-west-1 \
  --query "Stacks[?starts_with(StackName, 'drs-')].[StackName,StackStatus]" --output table

aws cloudformation describe-stacks --stack-name drs-eventbridge-dr --region us-east-2 \
  --query "Stacks[0].StackStatus" --output text

aws events list-rules --name-prefix DRS- --region us-west-1 --query "Rules[].Name"

aws events list-rules --name-prefix DRS- --region us-east-2 --query "Rules[].Name"

aws ssm list-documents --filters Key=Owner,Values=Self --region us-west-1 \
  --query "DocumentIdentifiers[?starts_with(Name, 'DRS-Agent-')].Name"

aws ssm get-parameter --name /drs/control/event-in-progress --region us-west-1 \
  --query "Parameter.Value" --output text
  • 所有四个堆栈在重新运行后均显示 CREATE_COMPLETE 或 UPDATE_COMPLETE 状态。
  • 源区域列出了 DRS-Tag-Change-Offboard 和 DRS-Stalled-Heal-Receive 规则。
  • DR 区域列出了 DRS-Stalled-Forward 规则。
  • 源区域列出了 DRS-Agent-Onboard、DRS-Agent-Heal 和 DRS-Agent-Offboard 文档。
  • stand-down 标志返回 false。
  • 在 AWS Systems Manager 控制台中,State Manager 列出了 DRS-Agent-Onboard-Association。

当准备启用安装时,在 config.yaml 中设置 auto_install_enabled: "true",并使用 AutoInstallEnabled=true 再次部署 State Manager 堆栈:

code
aws cloudformation deploy \
  --template-file templates/state-manager-association.yaml \
  --stack-name drs-state-manager \
  --region us-west-1 \
  --parameter-overrides \
    AutomationRoleArn=arn:aws:iam::111122223333:role/DRS-Automation-Role \
    TargetRegion=us-east-2 \
    AutoInstallEnabled=true \
    SNSTopicArn=arn:aws:sns:us-west-1:111122223333:drs-alerts

要启用拆除操作,请设置 auto_offboard_enabled: "true",并使用 AutoOffboardEnabled=true 再次部署源区域的 Amazon EventBridge 堆栈:

code
aws cloudformation deploy \
  --template-file templates/eventbridge-source.yaml \
  --stack-name drs-eventbridge-source \
  --region us-west-1 \
  --parameter-overrides \
    AutomationRoleArn=arn:aws:iam::111122223333:role/DRS-Automation-Role \
    TargetRegion=us-east-2 \
    SNSTopicArn=arn:aws:sns:us-west-1:111122223333:drs-alerts \
    AutoOffboardEnabled=true

安全防护机制防止意外操作

下表列出了三个自动化文档中的安全防护机制。stand-down 标志和标签值白名单适用于所有文档。终止实例防护和诚实计费状态用于保护卸载操作,其余防护机制用于保护安装和修复操作。

| 防护机制 | 防止的操作 | |--------------------|------------------------------------------| | DR-event stand-down | 在故障转移/回退期间执行操作 | | Terminated-instance guard | 实例终止时删除恢复点 | | Reverse-direction detect | 覆盖 AWS DRS 管理的回退代理 | | Concurrency lock | 重叠运行导致的竞态条件 | | AutoInstallEnabled gate | 审计优先部署中的意外安装 | | OS pre-check | 在不兼容的操作系统上运行安装程序 | | Honest billing status | 在拆除部分完成时报告“计费已停止” | | Tag value allow-list | 拼写错误触发错误的生命周期操作 | | Agent-presence-gated tagging | 将回退标签应用于无代理实例 |

要在声明的灾难恢复事件期间暂停自动化:

code
aws ssm put-parameter --name /drs/control/event-in-progress \
  --value true --type String --overwrite --region us-west-1

事件结束后恢复自动化:

code
aws ssm put-parameter --name /drs/control/event-in-progress \
  --value false --type String --overwrite --region us-west-1

监控与可观测性

三个 SSM 自动化文档通过三个渠道生成遥测数据,每个渠道针对不同受众进行了优化。

Amazon SNS 通知发送给值班团队。安装过程在需要干预时才会静默。修复操作在成功和需要干预时都会通知,因为成功的自动修复仍能告知您发生了真实问题并已解决。卸载操作在每个阶段都会发送通知:开始、完成、孤立、未完成和需要批准。

Amazon S3 审计报告用于合规性和故障排除。每个生命周期事件在 s3://<amzn-s3-demo-audit_bucket>/drs/<account>/<instance>/<event>-<timestamp>.json 中以一个 JSON 对象的形式记录,包含实例 ID、主机名、平台、源服务器 ID、状态以及拆机前的复制状态。为控制存储成本,请为存储桶添加生命周期规则(例如,90 天后删除 drs/ 目录下的对象)。

Amazon CloudWatch 指标为舰队仪表板提供支持。按事件类型分维度的 Outcome 指标(1=已处理,0=需要关注)可快速展示舰队健康状况。

清理

移除自动化功能不会停止复制。标记为 DR=yes 的实例会持续复制,直到您通过 AWS DRS 控制台或 API 停止复制。要删除自动化基础设施,请运行以下命令:

  • 删除 State Manager 关联和源区域的 Amazon EventBridge 堆栈。

aws cloudformation delete-stack --stack-name drs-state-manager --region us-west-1 aws cloudformation delete-stack --stack-name drs-eventbridge-source --region us-west-1

  • 删除 DR 区域的 Amazon EventBridge 转发堆栈。

aws cloudformation delete-stack --stack-name drs-eventbridge-dr --region us-east-2

  • 删除 SSM 自动化文档和 stand-down 参数。

aws ssm delete-document --name DRS-Agent-Onboard --region us-west-1 aws ssm delete-document --name DRS-Agent-Heal --region us-west-1 aws ssm delete-document --name DRS-Agent-Offboard --region us-west-1 aws ssm delete-parameter --name /drs/control/event-in-progress --region us-west-1

  • 在其他堆栈删除后,删除 IAM 角色堆栈。

aws cloudformation delete-stack --stack-name drs-automation-iam --region us-west-1

  • (可选)如果您仅为本解决方案创建了 SNS 主题和 S3 存储桶,请删除它们。

结论

通过设置 DR=yes 标签,自动化安装会保持代理程序安装并注册,而健康检查会在复制停滞时重新启动或重新安装代理程序。当您移除实例时,自动化卸载会停止复制、删除源服务器,并将 JSON 审计记录写入 Amazon S3。该记录会告知您计费是否已停止,或是否需要操作员跟进部分拆机操作。整个生命周期通过一个标签即可完成,无需团队维护任何函数代码。

2023 年 6 月的博文《使用 AWS Systems Manager 扩展部署 AWS 弹性灾难恢复》介绍了初始安装。该解决方案在此基础上增加了持续健康检查和卸载功能。

下一步

首先克隆代码库,并在测试账户中以审计模式部署。为几个实例添加 DR=yes 标签,让自动化安装运行一整天。Amazon S3 中的审计报告会显示自动化会在每个实例上安装或修复什么,而不会对任何内容进行更改。当报告结果符合预期时,为这些实例启用安装功能。然后将其中一个实例的 DR 设置为 no,检查卸载通知,再启用拆机操作。如果您有任何问题或改进建议,请在 GitHub 代码库中提交问题。

附加资源

作者简介

'"`