PyTorch Blog

ExecuTorch WebGPU: PyTorch Models on the GPU, in the Browser

6.9内容质量
ExecuTorch WebGPU: PyTorch Models on the GPU, in the Browser

TL;DR · AI 摘要

ExecuTorch WebGPU: PyTorch Models on the GPU, in the Browser - PyTorch Featured projects TL;DR - PyTorch models now run...

核心要点

  • 主题聚焦:ExecuTorch WebGPU: PyTorch Models on the GPU, in
  • 来源:PyTorch Blog,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程#前端#后端#安全
打开原文

ExecuTorch WebGPU:在浏览器中通过 GPU 运行 PyTorch 模型 - PyTorch

特色项目

TL;DR

  • 通过 ExecuTorch,PyTorch 模型现在可以直接在浏览器的 GPU 上运行,无需转换为其他框架的格式。您可以通过 torch.export 导出为 ExecuTorch 的 .pte 文件,同一文件可通过 ExecuTorch 新的 WebGPU 后端在任意支持 WebGPU 的浏览器中运行。
  • 该方案适用于广泛类型的模型:大语言模型(如 Llama 3.2、Qwen3、Gemma 3)、视觉语言模型(如 SmolVLM)、图像分割、深度估计、目标检测、超分辨率和语音转文本(如 Whisper)。所有计算均在浏览器标签页本地完成,设备数据不会离开本地。您可以在 ExecuTorch WebGPU Playground 中亲自体验。
  • 在相同设备上,WebGPU 的预填充阶段比 ExecuTorch 的 CPU 路径(WebAssembly + XNNPACK)快 4-7 倍,解码阶段快 2-10 倍。

为什么选择浏览器?

网络是最大的部署平台,Chrome、Firefox 和 Safari 等浏览器拥有数十亿用户。浏览器端推理通过将用户的提示、模型输入和输出保留在用户设备上,确保隐私安全。这能减少网络延迟、支持离线使用场景,并降低服务器端推理成本。通过 ExecuTorch WebGPU 后端,PyTorch 模型可在桌面、笔记本和移动设备的 WebGPU 启用浏览器中获得原生的 GPU 加速推理路径。

作为 WebGL 的现代继任者,WebGPU 提供原生计算着色器、共享内存、存储缓冲区和屏障机制,使浏览器内高性能机器学习推理成为可能。目前,要在浏览器中运行 PyTorch 模型通常需要先转换为其他框架格式(如 GGUF、ONNX 或 TFLite)。而 ExecuTorch WebGPU 后端使 PyTorch 模型无需离开 PyTorch 工具链即可直接在浏览器中运行。

后端设计

[图 1:ExecuTorch WebGPU 后端设计:PyTorch 模型通过 ExecuTorch Wasm 运行时一次性导出为 .pte 文件,可在任意 WebGPU 浏览器中运行]

WebGPU 后端设计遵循三个核心原则:

  • 架构、导出与动态运行时:模型通过 ExecuTorch 的 torch.export() 和 WebGPUPartitioner 导出,通过 WGSL 计算着色器运行。运行时阶段,WebGPU 运行时分配 GPU 缓冲区并调度计算着色器到命令缓冲区。动态形状通过最大值分配缓冲区处理,每个调度的工作组重新计算以支持批量预填充,运行时根据形状动态路由到专用 WGSL 内核。
  • 跨设备和浏览器的统一模型文件:一个模型(.pte 文件)可在 Chrome 和 Safari 等 WebGPU 浏览器中运行,原生支持 Metal(macOS)、Vulkan(Linux/Android)和 D3D12(Windows)。根据平台将 WGSL 转换为 Metal Shading Language、SPIR-V 或 HLSL。对于浏览器部署,动态 C++ 运行时通过 Emscripten 编译为 WebAssembly,并通过 emdawnwebgpu 桥接将 WebGPU API 调用转换为任意浏览器的 WebGPU JavaScript API。
  • 终端用户零摩擦体验:通过 WebGPU,模型在浏览器沙箱中运行,无需原生安装、后端服务器,设备数据不会外泄。对开发者而言,部署只需通过 CDN 在网页上提供 .pte 文件。管线编译、内存管理和调度调度均由 WebGPU 后端自动处理,所有数据始终保留在浏览器标签页的 GPU 设备内存中。

我们在同一台 Apple M1 Pro 机器上,使用 Google Chrome 浏览器对 ExecuTorch WebGPU 与 ExecuTorch 自有的 WebAssembly(wasm)CPU 后端(XNNPACK,多线程)进行了基准测试,测试模型包括量化后的 Llama 3.2 1B 和 Qwen3-0.6B。每个数据点是在 3 次预热后,对 128 至 8K 个上下文 token 进行 5 次运行的中位数,且两个后端使用的 token ID 完全一致。由于 CPU 执行时无法获取 GPU 时间戳,因此均采用墙钟时间进行计时。WebGPU 使用 4 位分组权重(组大小 64)和 fp32 激活值;CPU 使用 XNNPACK 的 4 位权重和 8 位动态激活值。

[图 2:在 Apple M1 Pro 的 Chrome 浏览器中,ExecuTorch WebGPU 的预填充速度比 ExecuTorch Wasm(XNNPACK)快 4–7 倍,解码速度则快 2–10 倍]

实际应用中的模型

我们已验证 WebGPU 后端在架构差异显著的模型上的兼容性,证明操作符覆盖范围已超越自回归文本生成:

大语言模型推理

  • Llama 3.2 1B(4 位量化)
  • Qwen2.5-0.5B(4 位量化)
  • Qwen3-0.6B(4 位量化)
  • Gemma 3 1B

视觉-语言理解

  • SmolVLM:图像问答和图像描述生成

视觉处理

  • Depth Anything V2:单目深度估计
  • SAM 2(SAM 2.1 Hiera Tiny):可提示图像分割
  • D-FINE:目标检测
  • Real-ESRGAN:超分辨率
  • 背景移除(MODNet):前景分割

语音处理

  • Whisper(基础版):语音转文本
  • Phonon-31M-EN:文本转语音

设备端训练

  • Llama 3.2 1B、Qwen2.5 0.5B 和 Qwen3 0.6B 的 LoRA 与 DiReFT 微调,用于个性化助手和设备端领域适配

[图 3:ExecuTorch WebGPU 演示]

亲自体验:ExecuTorch WebGPU 演示平台

ExecuTorch WebGPU 演示平台可运行上述诸多模型,所有模型均基于相同的 WebAssembly + WebGPU 运行时。所有提示、照片、摄像头画面和音频数据均不会离开您的设备。每个模型的 Hugging Face 仓库包含 .pte 文件、模型卡片和精确的导出方案。

未来计划

后端仍处于早期开发阶段。我们将持续提升后端性能与稳定性,并扩展操作符、数据类型和模型覆盖范围。

贡献与反馈

ExecuTorch 是开源项目,我们欢迎您为 WebGPU 后端做出贡献。如果遇到功能异常或您关注的模型未被支持,请在 ExecuTorch Discord 上提交问题或联系我们。我们也欢迎任何形式的贡献,包括新操作符、新模型或性能优化。

了解更多请访问 ExecuTorch 文档 | ExecuTorch 仓库 | WebGPU 后端