使用Amazon SageMaker AI和vLLM构建实时语音应用
AWS推出SageMaker AI与vLLM结合方案,实现双向流式语音转文本推理,支持实时语音助手、直播字幕等应用,显著降低延迟。
入选理由:SageMaker AI提供原生HTTP/2双向流式传输(端口8443),自动处理HTTP/2事件流与WebSocket协议转换
产品
别名:SageMaker AI
Amazon Web Services的服务,支持分布式多GPU和多节点配置,用于训练大型语言模型。
已跟踪 4 条高相关材料
最近变化
2026-06-03 · 使用SFT和DPO技术可以提高AI代理执行复杂任务时选择正确工具的能力。
为什么值得关注
Amazon SageMaker AI 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
Build real-time voice applications with Amazon SageMaker AI and vLLM
AWS Machine Learning Blog · 8.7 分
AWS推出SageMaker AI与vLLM结合方案,实现双向流式语音转文本推理,支持实时语音助手、直播字幕等应用,显著降低延迟并消除手工构建流式传输管道的负担。
Improve your agent’s tool-calling accuracy with SFT and DPO on Amazon SageMaker AI
AWS Machine Learning Blog · 8.5 分
通过使用监督微调(SFT)和直接偏好优化(DPO)技术,可以显著提高小语言模型在Amazon SageMaker AI上的工具调用准确性。这些方法结合了高质量数据集和人类反馈,以优化模型与数字工具的交互能力。
Build a custom portal with embedded Amazon SageMaker AI MLflow Apps
AWS Machine Learning Blog · 8.5 分
This solution provides a custom portal with embedded Amazon SageMaker AI MLflow Apps, giving teams a persistent, bookmarkable URL to the fu...
已收录 4 条与 Amazon SageMaker AI 相关的内容,按评分排序。
AWS推出SageMaker AI与vLLM结合方案,实现双向流式语音转文本推理,支持实时语音助手、直播字幕等应用,显著降低延迟。
入选理由:SageMaker AI提供原生HTTP/2双向流式传输(端口8443),自动处理HTTP/2事件流与WebSocket协议转换
通过使用监督微调(SFT)和直接偏好优化(DPO)技术,可以显著提高小语言模型在Amazon SageMaker AI上的工具调用准确性。这些方法结合了高质量数据集和人类反馈,以优化模型与数字工具的交互能力。
入选理由:使用SFT和DPO技术可以提高AI代理执行复杂任务时选择正确工具的能力。
This solution provides a custom portal with embedded Amazon SageMaker AI MLflow Apps, giving teams a persistent, bookmarkable URL to the full MLflow web UI without presigned URLs or AWS Management Console access. It simplifies access management and integrates with existing SSO infrastructure.
入选理由:The solution uses a custom portal with embedded MLflow UI for easy access management.
AWS SageMaker AI 现已支持 OpenAI 兼容的 API 接口,用户只需更改端点 URL 即可通过 OpenAI SDK、LangChain 或 Strands Agents 调用 SageMaker 上的模型,无需自定义客户端或代码重写。
入选理由:SageMaker AI 端点现在提供 /openai/v1 路径,支持 Chat Completions 请求和流式响应,Bearer Token 有效期最长12小时。