Production MLOps at GS Caltex with Amazon SageMaker Canvas, part 1

TL;DR · AI 摘要
GS Caltex通过AWS SageMaker Canvas和Pipelines实现MLOps自动化,将模型部署时间从一周缩短至数小时,推理成本降低。
核心要点
- 使用SageMaker Canvas可使模型部署时间从7天缩短至数小时
- 通过SageMaker Pipelines实现30分钟一次的批量推理
- 自动化流程使推理成本显著降低
结构提纲
按章节快速跳转。
- §引言
GS Caltex通过AWS工具实现MLOps自动化,提升部署效率
MLOps工作流包含模型部署准备和批量推理执行两个路径
SageMaker Canvas的预处理流被转换为SageMaker Processing作业
训练模型和评估结果通过Model Registry进行版本控制
- ›预测执行
批准后的模型每30分钟执行批量推理
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- GS Caltex MLOps实践
- 工具使用
- SageMaker Canvas
- SageMaker Pipelines
- 工作流结构
- 模型部署准备
- 批量推理执行
- 成本效益
- 部署时间缩短
- 推理成本降低
金句 / Highlights
值得收藏与分享的关键句。
ML工程师现在可在数小时内部署模型,相比之前约一周的时间
通过SageMaker Canvas和Pipelines的集成,自动化处理模型资产转换
批量推理每30分钟执行一次,降低持续运行端点的需求
GS Caltex 使用 Amazon SageMaker Canvas 实现生产环境 MLOps(第一部分)| 人工智能
GS Caltex 使用 Amazon SageMaker Canvas 实现生产环境 MLOps(第一部分)
GS Caltex 通过 Amazon SageMaker Canvas 和 Amazon SageMaker Pipelines 将流程工程师的模型与生产工作流连接。这家韩国能源与化工企业将模型开发与运营工作分配给具有互补技能的工程师团队。
流程工程师无需编写代码即可在 SageMaker Canvas 中构建和验证模型,依托其对工艺流程的理解。机器学习(ML)工程师则配置 SageMaker Pipelines 工作流以实现部署和定时推理。
将 SageMaker Canvas 中的资产迁移至 SageMaker Pipelines 仍需集成工作。ML 工程师需要设置生产环境的数据路径、提供模型配置,并连接预处理和推理任务。GS Caltex 通过自动化交接流程实现了 SageMaker Canvas 资产的复用。
GS Caltex 报告称,其 ML 工程师现在可在数小时内完成模型部署,而此前这一过程需要约一周时间。该公司每 30 分钟运行一次批量推理,减少了对持续运行端点的需求。GS Caltex 表示,这显著降低了其推理成本。
本文将解释 GS Caltex 如何将 SageMaker Canvas 与 SageMaker Pipelines 连接,并在生产环境中复用经验证的预处理流程和模型。
解决方案概述
机器学习运维(MLOps)工作流包含两条路径:为部署准备新的模型版本,以及使用已部署模型运行批量推理。
从验证模型到可重复工作流
您可以使用 SageMaker Canvas 可视化准备数据、构建模型并生成批量预测。您还可以从 SageMaker Canvas 向 Amazon SageMaker Model Registry 注册验证过的模型。GS Caltex 构建了独立的交接流程,将这些资产转换为可执行的 SageMaker Pipelines 步骤。
流程工程师了解工艺流程中的变量和数据,并评估模型预测是否具有实用价值。ML 工程师将生成的资产转化为生产任务,并管理模型版本和执行历史。
| 区域 | SageMaker Canvas 中准备的内容 | 生产工作流中管理的内容 | |------|-----------------------------|------------------------| | 数据准备 | 使用 Data Wrangler 构建的预处理流程 | Amazon SageMaker Processing 中的预处理任务 | | 模型开发 | 训练好的模型和评估结果 | Model Registry 中的模型版本和审批状态 | | 预测 | 模型预测的验证 | 每 30 分钟使用已批准模型进行批量推理 | | 运营 | 单个模型的开发和验证 | 步骤执行历史、存储结果和失败处理 |
参考架构
下图展示了流程工程师如何将 SageMaker Canvas 资产移交给 ML 工程师进行部署和定时推理。ML 工程师使用 Amazon Simple Storage Service(Amazon S3)管理预处理流程,使用 Model Registry 管理模型版本,然后通过 Amazon EventBridge 安排流水线运行。
图1:SageMaker Canvas 资产连接到 SageMaker Pipelines 工作流以进行计划的批量推理
机器学习工程师从SageMaker Canvas获取预处理流程和模型,检查数据格式和预测结果。审核完成后,他们在模型注册表中批准模型并进行部署。当新模型版本部署时会进行这项准备工作。后续的推理运行将复用已部署的模型。
Amazon EventBridge启动每个计划任务。SageMaker Pipelines从Amazon Simple Storage Service(Amazon S3)准备输入数据,运行预处理和SageMaker Batch Transform,并将结果存储在S3中。机器学习工程师可以通过检查步骤状态和Amazon CloudWatch日志来监控工作流。
生产流水线复用SageMaker Canvas中创建的预处理逻辑和训练模型。机器学习工程师配置输入和输出路径,设置执行顺序,并编写将审批和调度连接到工作流的代码。
先决条件
开始之前,请准备以下内容:
- 在SageMaker Canvas中构建并评估的模型及其Data Wrangler预处理流程
- 用于推理的CSV数据和用于存储文件的S3存储桶
- 具有启动流水线权限的SageMaker执行角色和Amazon EventBridge角色
- 安装了Boto3和SageMaker Python SDK 2.x的Python环境
完整的参考实现可在GitHub仓库中找到。本文的代码示例侧重于组件之间的连接。仓库使用了一个样本贷款分类模型,因此需要根据您的模型输入和输出格式调整配置。
技术实现
以下步骤涵盖预处理复用、模型审批与部署、流水线构建和计划推理:
1. 使用SageMaker Processing运行SageMaker Canvas预处理流程
在SageMaker Canvas中使用Data Wrangler创建的预处理流程会记录数据源和转换步骤。要设置参考实现,请使用SageMaker Processing将数据导出到Amazon S3,然后获取该作业的设置和使用的.flow文件。
在导出设置中,关闭自动作业配置并选择SageMaker Processing。导出开始后,在Amazon SageMaker AI控制台打开处理作业详情。记录容器镜像URI、输入命名流的S3 URI、执行角色和输出设置。使用这些值配置运行.flow文件的流水线步骤。
SageMaker执行角色必须具有读取所需S3数据、写入结果和访问容器镜像的权限。根据需要处理的数据量选择实例类型和数量。
保持流程工程师验证的预处理逻辑,并根据生产环境调整数据源、路径和其他设置。检查容器镜像和输出节点是否与原始作业配置一致。
检查项目 | 操作 ---|--- 输入位置 | 检查.flow文件中数据源引用的S3 URI。将原始数据上传到其他位置不会更新此引用。 容器镜像 | 使用S3导出期间创建的处理作业的镜像,并固定一个能复现验证转换的版本。 输出ID | 使用导出配置中的输出节点和输出名称。如果要求格式为{node_id}.{output_name},请严格匹配。 学习的转换值 |
保留训练过程中学习到的值,例如缩放和编码参数。不要在每次推理批次上重新拟合它们。
验证
比较 SageMaker Canvas 和 Processing 对相同输入生成的列、数据类型和转换值。
某些 .flow 文件包含执行元数据,例如 internal_metadata.dw_job.container_uri。请检查实际的 Processing 作业设置,而不是假设每个导出都包含此字段。如果将工作流移动到另一个 AWS 区域,请验证该区域是否可用相应的容器镜像。
参考实现通过 runs/<execution-id>/ 目录下的执行将中间输出和最终输出分开。其 PrepareInput 步骤会将数据写入 .flow 文件引用的固定 S3 位置。防止共享该输入路径的执行发生重叠。
为了进一步隔离每个执行的输入数据,请添加一个准备步骤,该步骤会更新 .flow 文件副本中的源 URI。声明 SageMaker Pipelines 参数不会自动替换文件内的 URI。
2. 处理训练输入和推理输入之间的差异
目标列是训练数据和推理数据之间的差异之一。使用训练数据构建的流程可能包含期望输入模式中包含目标列的转换。推理数据不包含该已知结果。
参考实现会在预处理之前添加 PrepareInput 步骤。如果目标列缺失,该步骤会用占位符值添加它。预处理完成后,DropTargetColumn 会删除该列。确保占位符的数据类型和列位置与训练模式匹配,并按原始顺序仅将预期特征传递给模型。
PrepareInput -> PreprocessNewData -> DropTargetColumn
-> BatchPredict -> AssembleResults仅当占位符目标不影响特征值时使用此方法。如果流程通过目标过滤行、从中派生特征或应用目标编码,则需要额外处理。在这些情况下,需要将推理所需的转换和学习状态分开。
验证应涵盖列顺序和数量、数据类型、缺失值处理以及行数。删除目标后,检查剩余列是否与训练期间使用的特征顺序匹配。
3. 注册、批准并部署模型
在 Model Registry 中注册已验证的 SageMaker Canvas 模型版本。注册的版本可以包含模型文件、推理配置和评估结果。机器学习工程师在更改批准状态前会审查这些信息。
模型文件(如 model.tar.gz)必须与正确的推理容器和环境设置一起使用。Model Registry 中的模型包会将这些信息组合在一起。在此批处理架构中,部署会从已批准的包创建 SageMaker 模型资源,供批处理转换引用。
以下示例检查已批准的包,然后创建模型资源。部署时提供 model_package_arn、model_name 和 sagemaker_role_arn。此示例为每个版本使用唯一的模型名称。
import boto3
sm_client = boto3.client("sagemaker")
package = sm_client.describe_model_package(
ModelPackageName=model_package_arn
)if package["ModelPackageStatus"] != "Completed": raise RuntimeError("Model package is not ready") if package["ModelApprovalStatus"] != "Approved": raise RuntimeError("Model package is not approved")
sm_client.create_model( ModelName=model_name, ExecutionRoleArn=sagemaker_role_arn, PrimaryContainer={"ModelPackageName": model_package_arn}, )
模型注册表记录审批状态,但不会对每个推理请求强制执行审批检查。在部署代码中检查该状态,并在流水线配置中保留选定的包ARN和模型名称。如果审批被撤销,请更新使用该模型的计划和执行配置。
模型版本发布时会触发注册和部署。每30分钟运行一次的流水线会使用该模型创建批量转换作业,因此无需在每次运行时重新注册模型。
### 4. 连接预处理、推理和结果组装
推理流水线包含五个步骤。
步骤 | 功能 | 输入和输出
--- | --- | ---
PrepareInput | 添加目标列占位符(如需要) | 新推理数据 -> 包含目标列的数据
PreprocessNewData | 运行SageMaker Canvas预处理流程 | 准备好的输入数据 -> 转换后的数据
DropTargetColumn | 移除目标列和CSV标题 | 转换后的数据 -> 无标题的特征CSV
BatchPredict | 使用已批准模型运行批量推理 | 特征CSV -> 预测文件
AssembleResults | 将预处理数据与预测结果合并 | 预处理数据和预测文件 -> 最终结果CSV
在连接步骤之前需配置每个作业。以下示例中,prepare_args、preprocess_args、drop_target_args和assemble_args保存了通过PipelineSession对象的run()方法返回的步骤参数。处理器和转换器共享pipeline_session对象。使用之前部署的model_name配置转换器。
from sagemaker.workflow.pipeline import Pipeline from sagemaker.workflow.steps import ProcessingStep, TransformStep
prepare = ProcessingStep( name="PrepareInput", step_args=prepare_args ) preprocess = ProcessingStep( name="PreprocessNewData", step_args=preprocess_args, depends_on=[prepare], ) drop_target = ProcessingStep( name="DropTargetColumn", step_args=drop_target_args, depends_on=[preprocess], )
DropTargetColumn作业定义了一个名为"features"的输出
features_uri = ( drop_target.properties.ProcessingOutputConfig .Outputs["features"].S3Output.S3Uri ) predict = TransformStep( name="BatchPredict", step_args=transformer.transform( data=features_uri, content_type="text/csv", split_type="Line", ), ) assemble = ProcessingStep( name="AssembleResults", step_args=assemble_args, depends_on=[predict], )
pipeline = Pipeline( name="canvas-process-inference", steps=[prepare, preprocess, drop_target, predict, assemble], sagemaker_session=pipeline_session, ) pipeline_arn = pipeline.upsert(role_arn=sagemaker_role_arn)["PipelineArn"]
下图展示了示例贷款模型推理工作流的五个步骤执行图。它们依次执行输入准备、预处理、目标列移除、批量推理和结果组装。截图拍摄时该执行流程处于"Executing"状态。
图 2:样本贷款模型的 SageMaker Pipelines 执行图
使用 depends_on 控制执行顺序,并通过步骤输出属性传递数据。例如,assemble_args 必须接收预处理数据的位置和 predict.properties.TransformOutput.S3OutputPath。输出名称 "features" 属于 DropTargetColumn。Data Wrangler 步骤使用其预处理流程中定义的输出 ID。
在参考实现中,AssembleResults 通过行位置将预处理数据和预测结果组合在一起。在生产环境中使用前,需添加检查以确保文件顺序和行数匹配,若不匹配则停止生成结果。如果预处理过程对行进行排序或删除,需在源记录 ID 和预测结果之间维护显式映射关系。
### 5. 每30分钟执行一次推理
GS Caltex 每30分钟执行一次推理。以下示例使用 Amazon EventBridge 规则来安排 SageMaker Pipelines 执行。创建管道后,通过手动运行验证其功能,再附加计划。
import boto3
events_client = boto3.client("events") rule_name = "canvas-process-inference-every-30-minutes"
events_client.put_rule( Name=rule_name, ScheduleExpression="rate(30 minutes)", State="ENABLED", )
result = events_client.put_targets( Rule=rule_name, Targets=[{ "Id": "canvas-process-inference", "Arn": pipeline_arn, "RoleArn": eventbridge_role_arn, }], ) if result["FailedEntryCount"]: raise RuntimeError(result["FailedEntries"])
将 eventbridge_role_arn 设置为信任 Amazon EventBridge 服务主体 events.amazonaws.com 的角色,并为目标管道授予 sagemaker:StartPipelineExecution 权限。pipeline_arn 值标识前一步创建的管道。
表达式 rate(30 minutes) 按30分钟间隔安排执行。若需在每小时和每半点执行,使用 cron(0/30 * * * ? *)。在输入准备步骤中决定每次运行处理的数据窗口,并将该信息与执行记录关联。
## 运维考量
启用计划运行前,需检查总成本、执行时间和对无效或不匹配数据的处理方式。
### 评估整个工作流的批量成本
Amazon SageMaker Pipelines 是一项无服务器工作流编排服务。它无需您自行部署或维护工作流服务器即可管理执行顺序和依赖关系。处理和批量转换任务使用独立的计算资源,并根据实例类型和持续时间计费。
预配置的实时端点适合需要持续低延迟响应的请求。批量转换适用于可以一起处理记录集的工作负载。它在任务完成后释放计算资源,因此无需为每个模型持续运行推理端点即可执行预测。
| 考虑因素 | 预配置实时端点 | SageMaker Pipelines + 批量转换 |
|---------|----------------|-----------------------------|
| 资源生命周期 | 实例持续可用以处理请求 | 每个任务单独分配和释放资源 |
| 成本驱动因素 | 端点运行时间和容量 | 任务持续时间、频率、实例数量及支持服务 |
| 适用工作负载 | 即时响应和持续在线请求 | 按计划间隔处理累积数据 |
| 添加模型的影响 | 端点容量和持续托管成本 | 额外处理、任务持续时间及并发限制 |
30分钟的计划每天会产生48次计划运行。估算总运行时间时需包含预处理、实例启动、推理和后处理。成本对比还应考虑流程、S3、CloudWatch及其他工作流使用的服务。
使用每个工作负载的实际使用情况评估成本,包括支持服务和每个计划任务的完整运行时间。
### 检查运行时间和重叠执行
每30分钟启动一次运行的计划无法保证每次运行都能在该时间间隔内完成。使用代表性数据测量整个管道的运行时间,包括实例启动时间和重试失败任务所需的时间。
确定如何处理在前一次执行尚未完成时到达的计划运行。控制管道内的并行步骤无法阻止不同管道执行之间的重叠。检查活动执行情况,防止对相同输入窗口的重复处理,并为每次运行分离输出路径。
为每次运行记录输入数据窗口、预处理流程版本、模型包ARN、管道执行ARN和输出位置。这些信息有助于重现结果和调查错误。
### 验证输出和失败行为
启用计划前请完成以下检查:
- 通过SageMaker Canvas和Processing运行验证数据集。比较输出列、数据类型、行数和关键转换值。
- 检查添加占位符目标是否改变特征值,并确认目标已从模型输入中移除。
- 使用已批准的模型版本运行批量转换,验证源记录与预测结果的关联性。
- 确认无效输入模式或预处理失败会阻止下游推理和结果发布。
- 测量运行时间和成本,测试相同输入窗口的重叠执行和重新处理,然后启用30分钟计划。
根据需要添加CloudWatch作业失败和处理延迟警报,同时结合数据质量或模型监控。初始阈值应基于测量的运行时间和数据特征设定,并在模型或数据量变化时进行审查。
## 实施方法和结果
通过分阶段部署,团队可以在全面推广前验证交接流程。以下部分描述了实施方法和GS Caltex报告的结果。
### 从模型开发过渡到常规运营
首先验证单个模型的生产路径,然后标准化跨部署的重复步骤。以下序列是基于GS Caltex经验建议的实施方法。
阶段 | 目标 | 范围
--- | --- | ---
爬行 | 在生产环境中重现开发结果 | 验证SageMaker Canvas模型,将其注册到模型仓库,并手动运行管道
行走 | 建立可靠的定时操作 | 检查审批,按要求间隔运行计划,添加失败警报,并按执行管理输出
运行 | 在模型间复用运营流程 | 引入通用模板,持续集成和持续交付(CI/CD),变更验证,以及运营责任转移程序
随着自动化扩展,流程工程师继续评估预测是否对流程有用。机器学习工程师负责管理管道执行和变更。
GS Caltex 减少了将 SageMaker Canvas 模型连接到生产环境所需的重复工作。与之前大约需要一周的时间相比,机器学习工程师现在可以在几小时内部署模型。他们还可以复用流程工程师在 SageMaker Canvas 中验证的资产。
在看到自己的模型被用于生产后,流程工程师开始在其他流程中提出应用建议。机器学习工程师花费更少的时间重复集成工作,能够专注于操作和监控流水线。
**成果**
**报告结果**
**模型部署时间**
之前大约需要一周。现在只需几小时
**推断频率**
每30分钟一次
**成本影响**
实现显著的成本节约
**工程工作**
流程工程师提出新应用;机器学习工程师专注于流水线操作和监控
## 清理测试资源
对于测试部署,首先禁用 Amazon EventBridge 规则并删除其目标。在所有活跃的流水线执行和任务完成后,删除测试流水线及其 SageMaker 模型资源。
如果您为测试创建了实时端点,请一并删除。从 S3 中删除输入、中间和预测文件,并根据保留策略清理 CloudWatch 日志。在删除模型文件和 Model Registry 版本之前,请检查是否有其他执行或审计需求仍依赖这些资源。
## 结论
在 GS Caltex,流程工程师在 SageMaker Canvas 中创建和验证模型,机器学习工程师则使用这些资产在 SageMaker Pipelines 中运行生产工作流。这种交接减少了重复的集成工作。GS Caltex 报告称,机器学习工程师现在可以在几小时内完成模型部署,而之前大约需要一周时间。
交接需要包含预处理流程、输入模式、推断配置和审批流程,这些都需要与模型文件一同传递。验证工作流能否复现预期结果,并能按要求的时间表可靠运行。
要尝试这种方法,可以从一个已在 SageMaker Canvas 中验证过的模型开始,并使用 GitHub 仓库。有关定义和运行工作流的详细信息,请参阅 SageMaker Pipelines 开发者指南。通过手动执行检查预处理和批量预测结果,然后根据应用程序需求安排运行间隔。
在第二部分中,我们将展示 GS Caltex 如何使用 Amazon Bedrock 自动将现有模型迁移到该流水线。
## 作者简介
'\"`