Simon Willison's Weblog

OpenAI WebRTC Audio Session, now with document context

8.5内容质量
OpenAI WebRTC Audio Session, now with document context

TL;DR · AI 摘要

OpenAI 推出 GPT-Realtime-2 模型,支持在 WebRTC 会话中结合文档上下文进行语音交互。

核心要点

  • OpenAI 推出 GPT-Realtime-2 模型,具备 GPT-5 级推理能力。
  • 开发者可通过 WebRTC API 在浏览器中实现带文档上下文的语音交互。
  • GPT-Realtime-2 模型知识截止日期为 2024 年 9 月 30 日。

结构提纲

按章节快速跳转。

  1. 作者介绍了 OpenAI WebRTC Audio Session 工具的背景和最新更新。

  2. ·GPT-Realtime-2 模型的发布

    OpenAI 推出了 GPT-Realtime-2 模型,具备 GPT-5 级推理能力。

  3. 用户现在可以在 WebRTC 会话中粘贴文档上下文,以增强语音交互的准确性。

  4. 该工具可用于探索文档内容,并通过语音进行交互式讨论。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • OpenAI WebRTC Audio Session
    • GPT-Realtime-2 模型
      • GPT-5 级推理能力
      • 知识截止日期:2024 年 9 月 30 日
    • 文档上下文功能
      • 支持在 WebRTC 会话中粘贴文档上下文

金句 / Highlights

值得收藏与分享的关键句。

#OpenAI#WebRTC#GPT-Realtime-2#语音交互
打开原文

标题: OpenAI WebRTC 音频会话,现在支持文档上下文

URL 来源: https://simonwillison.net/2026/Jun/12/openai-webrtc/

发布时间: Sun, 14 Jun 2026 16:04:07 GMT

Markdown 内容: 2026年6月12日 - 链接博客

[OpenAI WebRTC 音频会话,现在支持文档上下文](https://tools.simonwillison.net/openai-webrtc)。我于2024年12月构建了这个工具的第一个版本 链接,目的是尝试使用当时新推出的OpenAI WebRTC API,与他们的实时音频模型进行交互。

上个月,OpenAI 推出了一种全新的模型,命名为 GPT‑Realtime‑2,他们将其宣传为“我们第一个具有GPT‑5级别推理能力的语音模型”,该模型的知识截止日期为2024年9月30日。

我一直期待这个模型出现在ChatGPT iPhone应用中,但至今仍未出现,所以我重新访问了我之前的测试平台。

现在你可以选择更好的模型,还可以粘贴一大块文档上下文,这样你就可以在浏览器中进行音频对话,探讨你认为以对话方式探索有用的信息。

图像1: 标题为“OpenAI WebRTC 音频会话”的网页界面截图,有一个灰色的状态点。表单字段:“OpenAI API Token”显示为用点遮盖的密码,“语音”下拉菜单设置为“Coral”,“模型”下拉菜单设置为“gpt-realtime-2”。一个可折叠的区域,标签为“▼ 文档上下文(可选 — 粘贴文本以进行对话)”,上方有粗体说明“在开始会话之前在此处粘贴文档,模型将能够与你讨论它”,下方有一个文本区域,包含关于DuckDB是否能像Datasette运行SQLite一样安全地运行不受信任的SQL的粘贴的Markdown文档。下方有一个蓝色的“开始会话”按钮和一个灰色的禁用“静音麦克风”按钮,然后是一个绿色的成功消息“会话已成功建立!”在底部,一个标题为“最后的转录”的深色面板显示:“DuckDB可以像SQLite一样安全地运行不受信任的SELECT查询,但前提是你要正确地将其锁定。仅使用只读为true是不够的,因为SQL仍然可以”(文本被截断)
图像1: 标题为“OpenAI WebRTC 音频会话”的网页界面截图,有一个灰色的状态点。表单字段:“OpenAI API Token”显示为用点遮盖的密码,“语音”下拉菜单设置为“Coral”,“模型”下拉菜单设置为“gpt-realtime-2”。一个可折叠的区域,标签为“▼ 文档上下文(可选 — 粘贴文本以进行对话)”,上方有粗体说明“在开始会话之前在此处粘贴文档,模型将能够与你讨论它”,下方有一个文本区域,包含关于DuckDB是否能像Datasette运行SQLite一样安全地运行不受信任的SQL的粘贴的Markdown文档。下方有一个蓝色的“开始会话”按钮和一个灰色的禁用“静音麦克风”按钮,然后是一个绿色的成功消息“会话已成功建立!”在底部,一个标题为“最后的转录”的深色面板显示:“DuckDB可以像SQLite一样安全地运行不受信任的SELECT查询,但前提是你要正确地将其锁定。仅使用只读为true是不够的,因为SQL仍然可以”(文本被截断)