AWS Machine Learning Blog

Deploy frontier AI models on AWS Trainium with SGLang-Neuron

8.5内容质量
Deploy frontier AI models on AWS Trainium with SGLang-Neuron

TL;DR · AI 摘要

AWS推出SGLang-Neuron插件,支持在Trainium芯片上高效部署前沿AI模型,结合PyTorch和Neuron技术提升性能。

核心要点

  • SGLang-Neuron通过PyTorch和NKI内核实现Trainium芯片的高效模型执行
  • 部署流程包含容器启动、服务端初始化和API调用三阶段
  • 支持PD分拆架构,利用EFA实现跨服务器KV缓存传输

结构提纲

按章节快速跳转。

  1. 宣布SGLang-Neuron插件正式对外开放并提供容器镜像

  2. 描述插件如何通过PyTorch和NKI内核实现Trainium芯片集成

  3. 解析模型服务时从容器启动到API调用的完整工作流

  4. 详细说明PD分拆架构下预填充与解码服务器的协作机制

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • SGLang-Neuron架构
    • 核心组件
      • PyTorch集成
      • NKI内核优化
    • 部署流程
      • 容器启动
      • 服务初始化
      • API调用
    • 扩展特性
      • PD分拆架构
      • EFA网络传输

金句 / Highlights

值得收藏与分享的关键句。

#AWS#Trainium#SGLang#Neuron#AI模型
打开原文

在 AWS Trainium 上使用 SGLang-Neuron 部署前沿 AI 模型 | 人工智能

在 AWS Trainium 上使用 SGLang-Neuron 部署前沿 AI 模型

今天,亚马逊宣布 SGLang-Neuron 已正式公开发布,可通过 RadixArk 与 Annapurna Labs 联合推出的 AWS 深度学习容器进行访问。借助 SGLang-Neuron,您可以通过与当前相同的 SGLang 接口,在 AWS Trainium 上使用 SGLang 服务模型并生成强化学习(RL)的 rollouts。Trainium 是 AWS AI 芯片系列,为大规模 AI 训练和推理提供强大的经济性。现在,在 Trainium 上运行 SGLang 遵循您已熟悉的 SGLang 工作流程:您通过 SGLang 的服务器接口启动模型,并使用相同的生成 API 调用端点。在接口之下,SGLang-Neuron 基于原生 PyTorch 运行。凭借其树外插件设计,Trainium 支持与 SGLang 核心可以独立开发并更快迭代。

SGLang 如何在 Trainium 上运行

SGLang-Neuron 是一个树外插件,用于将 SGLang 与 AWS Trainium 连接。安装该插件后,会通过 SGLang 的插件入口点注册 neuron 平台,启动服务器时设置 SGLANG_PLATFORM=neuron 即可选择该平台。SGLang 核心继续提供 API 服务器、请求生命周期、RadixAttention 和前缀缓存管理。该插件实现了 Trainium 特有的模型、注意力机制、专家混合(MoE)以及图执行器。

图 1:AWS Trainium 上的 SGLang-Neuron

TorchNeuron 将 Trainium 注册为原生 PyTorch 设备。SGLang-Neuron 使用标准 PyTorch 操作执行模型路径,并通过 Neuron 内核接口(NKI)编写内核以实现高性能。它使用 torch.compile 将这些操作和内核编译成可执行程序,图执行器在服务期间准备并执行这些程序。

SGLang-Neuron 还支持 PD 分离架构。在此配置中,预填充服务器通过 Elastic Fabric Adapter(EFA)上的 NIXL 计算提示 KV 缓存并将其传输到解码服务器。解码服务器随后生成剩余的标记。每个服务器仍使用 SGLang 的调度器和请求生命周期,而插件管理 Trainium 执行和 KV 缓存传输路径。

使用 SGLang-Neuron 在 AWS Trainium 上部署模型

要按照本指南操作,您需要使用带有 pytorch-inference-sglang-neuronx 容器的 Trainium3 Amazon 弹性计算云(Amazon EC2)实例。以下是步骤:

  • 启动容器。
bash
  docker run --rm -it \
    --privileged --ipc=host \
    -v /path/to/work:/work \
    public.ecr.aws/neuron/pytorch-inference-sglang-neuron:v0.1.0-neuron-py314-sdk-2.33.0-ubuntu26.04 \
    /bin/bash
  • 在容器内启动 SGLang 模型服务器。
bash
  SGLANG_PLATFORM=neuron \
  python -m sglang.launch_server \
    --model-path openai/gpt-oss-120b \
    --tp-size 8 \
    --ep-size 8 \
    --kv-cache-dtype fp8_e4m3 \
    --context-length 10240 \
    --chunked-prefill-size 8192 \
    --max-running-requests 64 \
    --max-total-tokens 655360 \
    --mem-fraction-static 0.8 \
    --host 127.0.0.1 \
    --port 30000
  • 向模型服务器发送请求。
bash
  curl -s http://127.0.0.1:30000/v1/chat/completions \
    -H 'Content-Type: application/json' \
    -d '{
      "model": "openai/gpt-oss-120b",
      "messages": [{"role": "user", "content": "Explain why the sky appears blue."}],
      "temperature": 0,
      "max_tokens": 128
    }'

如需了解更多详细信息,请参阅 SGLang-Neuron 入门指南以获取设置说明,并查看仓库文档了解支持的模型、功能和经过验证的配置。

结论

SGLang-Neuron 通过原生 PyTorch 将 SGLang 熟悉的服务工作流程引入 AWS Trainium。您可以通过启动 SGLang-Neuron 容器并按照快速入门指南来服务支持的模型,从而快速上手。请使用您的工作负载进行尝试,通过项目仓库提交贡献,并分享反馈以帮助塑造未来模型和功能的支持方向。

作者简介

'"`