Towards Data Science

Let Decision Models Guide Your Voice Assistant

8.5内容质量

TL;DR · AI 摘要

决策模型可指导语音助手实时判断任务状态,结合GPT-Live与Microsoft Decision-1实现动态交互。

核心要点

  • 语音助手需用决策模型处理用户无序输入,判断任务完成状态
  • GPT-Live负责实时语音识别,Decision-1模型处理逻辑判断
  • 清洁检查场景需验证4项要求,包含门禁、床品等具体指标

结构提纲

按章节快速跳转。

  1. 语音助手需处理用户无序输入,决策模型可解决状态确认问题。

  2. 用户可能提供错误或过时信息,需模型动态判断任务状态。

  3. GPT-Live处理语音,Decision-1模型分析对话内容并指导交互。

  4. 构建清洁检查语音助手,需验证门禁、床品等四项具体要求。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 决策模型语音助手
    • 核心组件
      • GPT-Live语音模型
      • Decision-1决策模型
    • 应用场景
      • 清洁检查任务验证
    • 验证指标
      • 门禁系统
      • 床品状态
      • 浴室排水
      • 厨房清洁

金句 / Highlights

值得收藏与分享的关键句。

#语音助手#决策模型#GPT-Live#Microsoft
打开原文

让决策模型引导你的语音助手 | Towards Data Science

大语言模型应用

让决策模型引导你的语音助手

GPT-Live 负责对话,决策模型则跟踪已确认的信息并决定下一步要询问什么。

郭帅

2026年11月4日

16分钟阅读

在 Google 上推荐我们

分享

我们将构建的工作流程。(作者图片)

决策模型的另一个实用场景是:嵌入到实时语音对话中。

真实语音交互往往很混乱。当有人说话时,可能会打乱顺序提供信息,甚至遗漏某些内容,随后在另一句话中纠正之前的错误。

如果我们想构建语音助手,应用程序需要跟踪自己真正掌握的信息,并决定下一步该问什么。

这个“决策”环节正是决策模型可以发挥作用的地方。

你只需提供上下文和问题,它就会从你定义的选项中进行选择。它专门为此进行训练,因此响应速度快且成本低,应用程序可以直接根据返回结果采取行动。

那么,如何构建这样的语音助手?我们将任务分为两部分。

具体来说,我们会使用语音模型来负责倾听和对话,而决策模型则置于其后,实时阅读对话内容,并告诉应用程序哪些任务已经完成、哪些仍然缺失。

在本文中,我们将使用 GPT-Live(OpenAI 的实时语音模型)和 Decision-1(微软的决策模型)来构建这个助手。

···

1. 为什么我们最终需要决策模型?

假设用户告诉我们的助手:“我已经解决了。”那么我们是否可以直接标记任务完成?

可能还不能。

因为如果完成需要成功测试,那么我们不应该直接标记任务完成,而应该跟进询问用户是否进行了测试以及发生了什么。

假设用户确认测试通过,我们标记任务完成。随后,用户补充道:“实际上,那是我最近更改之前的测试结果。”很好。现在,之前的测试结果不再适用于当前情况,我们需要重新开启该检查。同时,我们还需要保留仍然有效的其他信息。

这些判断都可以交给决策模型来处理。

本质上,对于每个需求,我们定义哪些证据是有效的。模型会阅读对话并告诉我们当前状态:需求是否满足?用户是否确认了问题,或者我们是否仍然需要证据?无论决策模型选择什么,我们的应用程序都知道下一步该做什么。它可以是更新状态、询问用户验证某事,或者直接进入下一个需求。

2. 我们将构建什么

在这个案例研究中,我们将为一位清洁人员构建语音助手,该清洁人员在客人到达前检查出租公寓。清洁人员在检查过程中报告发现的问题,助手则通过提问直到收集到足够的证据以评估四个需求:

  • 入口:当前的访客代码能否解锁门?
  • 卧室:是否铺好了干净的床单和枕套,床是否已经整理?
  • 浴室水槽:水流是否正常排出,水龙头开启时下方区域是否保持干燥?
  • 厨房:台面是否干净,冰箱中是否没有前一位客人的食物?

以下可能是一段对话示例:

清洁工:“客人的代码已经完成。床铺使用了新的床单和枕套。厨房和水槽还需要处理。” 助理:“你能打开水龙头检查一下水槽是否正常排水,并且下方是否保持干燥吗?” 清洁工:“直到今天下午才能恢复供水,不过我现在可以先检查厨房。” 助理:“好的,那我们在等待期间先处理厨房部分。你能检查一下台面和冰箱吗?”

为了支持这个对话,我们将要求决策模型评估清洁工的报告所确认的内容,并为当前情况选择一个有用的后续操作。

在技术栈方面,我们将使用 GPT-Live(OpenAI 的语音模型)和 Decision-1(微软的决策模型),并通过 Python 工作流将它们连接起来:

图 1. 我们将构建的工作流。(图片由作者提供)

如上图所示,GPT-Live 负责监听和对话。当清洁工提供更新时,Python 会将当前对话发送给 Decision-1,并附带五个问题:四项要求目前的进展如何?助理下一步应该做什么?

注意:Decision-1 并不是唯一的选择。你也可以使用 Jev 或 OpenAI 的 Decisions API。整体模式保持不变,仅决策函数内部的请求内容会变化。

对于每一项要求,系统会从三个选项中选择一个:

  • ready:根据现有证据,要求已满足。
  • issue:仍然存在一个问题。
  • needs_evidence:目前证据不足,无法确认要求是否满足或存在什么问题。

对于下一步操作,系统会从六个选项中选择一个:

  • ask_entrance:询问入口要求的缺失证据。
  • ask_bedroom:询问卧室的床铺要求。
  • ask_bathroom:询问浴室水槽要求。
  • ask_kitchen:询问厨房要求。
  • defer:解释阻碍剩余检查的问题并等待。
  • finish:总结评估结果,包括任何已确认的问题。

请注意,这里的 finish 表示我们已收集到足够的证据来评估所有要求——并不意味着所有检查都通过了。

Python 随后将这些选择结果返回给 GPT-Live,GPT-Live 会将其转化为语音回复。当清洁工下次回应时,我们会用更新后的对话重复这个过程。

好的,我们准备构建完整的工作流了!以下是我们的检查清单:

  • 构建决策函数。在此部分,我们定义证据标准和允许的输出结果,然后编写一个函数,通过一次请求向 Decision-1 查询四项要求的状态和下一步对话操作。
  • 设置语音对话。在此部分,我们配置 GPT-Live 并在我们的应用中收集对话记录。
  • 将决策连接到语音回复。当 GPT-Live 请求评估时,我们调用决策函数并将 Decision-1 的回答返回。

我们将逐一构建这些部分。

3. 构建决策函数

在此部分,我们专注于构建一个函数,该函数接收当前对话内容,并生成每个要求的状态以及助理下一步的对话操作。

该函数本身非常简洁:

python

code
async def assess_inspection(conversation):
    response = await http.post(
        f"{AZURE_ENDPOINT}/providers/microsoft/v1/systemone",
        json={
            "model": "Decision-1",
            "state": {"conversation": conversation},
            "questions": QUESTIONS,
        },
    )
    response.raise_for_status()
    return {
        name: answer["choice"]
        for name, answer in response.json()["answers"].items()
    }

首先,我们准备向决策模型发送请求。这里有两个主要要素:state 提供累积的对话内容;QUESTIONS 指定我们想要的决策。该函数会直接返回模型选择的标签。

那么,QUESTIONS 包含哪些内容?

它是一个包含 5 个条目的字典,每个需求对应一个条目,以及下一个对话步骤的条目:

code
QUESTIONS = {
"entrance": {...},
"bedroom": {...},
"bathroom": {...},
"kitchen": {...},
"next_action": {...},
}

让我们从四个需求问题开始。以 "bathroom" 条目为例。以下是其完整结构(此处为适应文章内容进行了简化;完整版在笔记本中):

code
QUESTIONS["bathroom"] = {
"type": "choice",
"instructions": (
"评估水槽排水是否正常,水运行时水槽底部是否保持干燥。"
"使用清洁员报告的观察结果作为证据。"
"根据上下文解释回复,对涉及的事实进行修正,同时保留无关的有效观察。"
"早期证据仍需适用于当前状况。"
"计划和一般性保证不能确定结果。"
),
"criteria": {
"needs_evidence": (
"当前报告的证据不足以确定需求的每个部分,且无法确认当前失败情况。"
),
"ready": (
"当前报告的证据已确定需求的每个部分。"
),
"issue": (
"当前报告的证据已确认需求至少一部分存在未解决的失败情况。"
),
},
}

这遵循了 Microsoft Decision-1 的选择格式:instructions 告诉模型需要评估什么以及如何解释对话,而 criteria 定义了可能的选择及其含义。

其他三个需求问题采用相同的结构,并共享这些状态定义。

接下来,针对下一个对话步骤,我们添加 "next_action" 问题。它读取相同的对话内容,但这次我们问:根据我们已知的信息和清洁员现在能做的事情,助手下一步应该问什么或说什么?

以下是结构(说明部分已简化):

code
QUESTIONS["next_action"] = {
"type": "choice",
"instructions": (
"选择下一个有用的对话步骤。"
"使用清洁员的观察结果、修正和以下要求来确定仍需收集哪些证据。"
"询问清洁员现在可以收集的证据,考虑访问权限、时机和可用资源。"
"没有固定的房间顺序。"
"如果证据缺失但目前无法推进任何剩余检查,请选择 defer。"
"当所有需求都有明确结果(包括任何确认的问题)时,请选择 finish。"
"\nRequirements: " + json.dumps(CHECKS)
),
"criteria": {
"ask_entrance": (
"收集当前访客代码能否成功开启入口门的缺失证据。"
),
"ask_bedroom": (
"收集床是否使用干净床单和干净枕套的缺失证据。"
),
"ask_bathroom": (
"收集水槽排水是否正常且水运行时底部保持干燥的缺失证据。"
),
"ask_kitchen": (
"收集台面是否干净且冰箱中没有前住客食物的缺失证据。"
),
"defer": (
"解释阻碍剩余检查的内容并等待新信息。"
),
"finish": (
"总结评估结果,包括任何确认的问题。"
),
},
}

在此,CHECKS 是包含我们四个需求描述的字典。我们将其包含在内,以便模型可以评估整个检查中仍缺失的部分。

一个细节需要注意:所有五个问题会一起在一个请求中发送。这由 Decision-1 的 API 支持,即可以同时针对相同上下文回答多个问题。

决策函数的说明到此为止。

4. 设置语音对话

我们的决策函数接收一段对话并返回五个选项。

但这段对话来自哪里?助手又是如何回应的呢?

这就是 GPT-Live 发挥作用的地方,这是 OpenAI 用于实时语音对话的模型。在我们的情况下,它承担了两项任务。首先,它监听清洁工并生成语音回复。其次,它在对话进行时实时转录双方的对话内容:清洁工说的话,以及助手的回应。这些转录文本通过同一条连接以事件形式传输,因此我们无需单独的语音转文本步骤。我们的应用将这些内容收集到持续进行的对话中,而这就是我们传递给决策函数的内容。

在这里,我们需要稍微转变一下思路。在传统 LLM 和决策模型中,我们发送请求、获取响应,然后完成。但使用 GPT-Live 时,我们需要开启一个会话并在对话进行时保持连接。清洁工说话,助手回应,清洁工再次说话——所有操作都在同一条持续连接中完成。

WebSocket 连接使我们能够维持这种持续的交互。以下是实现方式:

python
import json
from websockets.asyncio.client import connect
async with connect(
LIVE_URL,
additional_headers={"api-key": API_KEY},
) as ws:
await ws.send(json.dumps({
"type": "session.start",
"session": {
"model": "gpt-live-1",
"instructions": LIVE_INSTRUCTIONS,
"audio": {
"output": {"voice": "marin"},
},
"delegation": {"type": "client"},
},
}))
# 音频流和事件处理在此继续。

此处,LIVE_URL 指向我们的 GPT-Live 端点,该端点通过 Azure 提供。LIVE_INSTRUCTIONS 告诉 GPT-Live 需要执行的操作。此外请注意,我们已将 delegation 设置为 "client"。这是我们在对话过程中让 GPT-Live 将工作委托给 Python 应用的方式。此处,“client” 指的是我们的 Python 应用。当 GPT-Live 需要评估时,它会通过 WebSocket 发送一个委托事件。我们的应用随后调用 Decision-1 并将答案发送回 GPT-Live,GPT-Live 使用这些答案来回应清洁工。

LIVE_INSTRUCTIONS 的完整内容如下:

code
LIVE_INSTRUCTIONS = """
你是出租公寓检查的语音接口。
仅使用英语交流。
决策-1 会评估要求并选择下一步
对话流程。你需自然地表达其答案。
保持回复简洁。最多提出一个问题。
当后端工作尚未完成时,仅需简要确认。
当清洁员完成观察、回答问题或更正事实或实际限制时,
生成 <|SpawnThinking|>。
不要在问候时委托,当清洁员仍在列举
信息时,或仅仅因为后端结果到达时就委托。
在询问检查问题或报告检查结果前,
需等待后端的回复。
遵循 next_action;使用对话来提出关于缺失证据的问题
但不要编造观察结果。
状态含义:
- ready 表示要求已满足。
- issue 表示已确认的问题。
- needs_evidence 表示证据不足,无法确定
要求。
对于 defer,从对话中解释阻碍因素并等待。
对于 finish,总结返回的结果,包括任何问题。
只有在所有四个要求都满足时,
才能将公寓描述为 ready。
"""
LIVE_INSTRUCTIONS += (
"\nRequirements: " + json.dumps(CHECKS)
+ "\nNext-step meanings: " + json.dumps(NEXT_ACTIONS)
)

你可能注意到指令中出现了特殊标记 <|SpawnThinking|>。这是推荐的交接提示方式,即让 GPT-Live 信号表明需要后端协助。

当清洁员向我们的应用提供更新时会发生以下情况:

  • GPT-Live 识别出需要进行评估并生成该标记。
  • 因为我们将委托配置为 "client",GPT-Live API 会通过 WebSocket 向我们的 Python 应用发送 session.delegation.created 事件。
  • 我们的应用接收到该事件后,会使用到目前为止收集的对话内容调用 assess_inspection()。
  • 决策-1 返回其五个选项,Python 通过 session.commentary.append 事件将它们发送回去。它包含原始请求的委托 ID,因此 GPT-Live 知道这些答案属于哪个请求。
  • GPT-Live 随后使用这些答案来回应清洁员。

我们将在下一节中连接这些部分。

5. 将决策连接到语音回复

在 WebSocket 事件循环中,我们监听 session.delegation.created 事件并启动评估处理程序:

code
import asyncio
if kind == "session.delegation.created":
pending = asyncio.create_task(
decide(event["delegation"]["id"])
)

此处,event 是作为 JSON 解析的传入 WebSocket 消息,kind 是其 "type"。我们将委托 ID 传递给 decide(),以便它能将答案与该请求相关联。

我们在这里使用 asyncio.create_task(),这样评估可以在我们的应用继续接收音频和文本事件的同时运行。

那么,decide() 做了什么呢?以下是核心实现:

code
async def decide(delegation_id):
assessment = await assess_inspection(conversation)
await ws.send(json.dumps({
"type": "session.commentary.append",
"delegation_id": delegation_id,
"content": json.dumps(assessment),
}))

这就是我们两个模型之间的连接。我们将累积的对话传递给决策函数,然后将它选择的五个标签发送回 GPT-Live,以生成语音回复。

如第4节所述,它是从GPT-Live的转录文本中构建的。GPT-Live以两种类型的事件形式以小片段流式传输:session.input_transcript.delta表示清洁工说的话,session.output_transcript.delta表示助手说的话。每次事件到达时,我们的应用会将片段追加到对话中对应说话人的位置。在下面完整代码的事件循环中,你会看到这两个分支。

经过简短的对话后,对话可能如下所示:

code
conversation = [
{
"speaker": "assistant",
"text": "水龙头开启时底部是否保持干燥?",
},
{
"speaker": "cleaner",
"text": "是的,全程如此。",
},
]

通过同时保留清洁工的回答和助手的问题,我们的决策模型将拥有完整的上下文来理解确认的内容。

现在我们完成了繁重的工作!以下是完整实现:

code
import asyncio
import base64
import json
from websockets.asyncio.client import connect
# 来自第3节的决策函数
async def assess_inspection(conversation):
response = await http.post(
f"{AZURE_ENDPOINT}/providers/microsoft/v1/systemone",
json={
"model": "Decision-1",
"state": {"conversation": conversation},
"questions": QUESTIONS,
},
)
response.raise_for_status()
return {
name: answer["choice"]
for name, answer in response.json()["answers"].items()
}
async def run_voice(audio_source, on_audio):
conversation = []
# 打开语音会话
async with connect(
LIVE_URL,
additional_headers={"api-key": API_KEY},
) as ws:
await ws.send(json.dumps({
"type": "session.start",
"session": {
"model": "gpt-live-1",
"instructions": LIVE_INSTRUCTIONS,
"audio": {"output": {"voice": "marin"}},
"delegation": {"type": "client"},
},
}))
started = json.loads(await ws.recv())
assert started["type"] == "session.started"
# 将评估请求桥接到Decision-1并返回
async def decide(delegation_id):
assessment = await assess_inspection(conversation)
await ws.send(json.dumps({
"type": "session.commentary.append",
"delegation_id": delegation_id,
"content": json.dumps(assessment),
}))
# 在接收循环运行时发送入站音频
async def send_audio():
async for pcm in audio_source:
await ws.send(json.dumps({
"type": "session.input_audio.append",
"audio": base64.b64encode(pcm).decode(),
}))
sender = asyncio.create_task(send_audio())
# 收集转录文本、处理评估并接收语音
async for raw in ws:
event = json.loads(raw)
kind = event["type"]
if kind == "session.input_transcript.delta":
# GPT-Live的清洁工转录
append_transcript(
conversation, "cleaner", event["delta"]
)
elif kind == "session.output_transcript.delta":
# GPT-Live的自身回复转录
append_transcript(
conversation, "assistant", event["delta"]
)
elif kind == "session.delegation.created":
# GPT-Live请求评估
pending = asyncio.create_task(
decide(event["delegation"]["id"])
)
elif kind == "session.output_audio.delta":
on_audio(base64.b64decode(event["delta"]))
elif kind == "session.closed":
break
# 定时、取消和关闭细节请参见笔记本

此处,audio_source从麦克风或录音中提供音频片段,on_audio播放或保存生成的语音。append_transcript()在保留说话人标签的同时连接转录片段。这些支持代码在笔记本中。

你可以看到我们大量使用了异步执行。这确保了在评估进行时,应用仍能持续发送音频并接收事件。asyncio.create_task()使音频发送器和评估处理器可以与接收循环并行运行。

在每个评估中,流程保持简单:调用Decision-1,等待其回答,然后将结果发送回GPT-Live。这个等待过程不会阻塞音频或文字更新的接收。

完整实现请参见此处的笔记本。

这完成了我们的构建检查清单。

6. 运行助手

现在我们来实际运行这个新构建的助手。

我们将考虑一个合成场景,其中清洁工的对话是预设脚本。但助手的回复仍然是实际的GPT-Live输出。

清洁工首先发送如下更新:

“好的,新的客人代码有效,我顺利进来了。床铺已经整理好,有新的床单和枕套。还没有查看水槽或厨房的情况。油漆工仍在厨房工作,所以我现在还不能进去。不过我现在可以打扫浴室了。”

Decision-1标记入口和卧室为已就绪。浴室和厨房仍需要证据,并选择ask_bathroom。GPT-Live跟进提问:

“当你打开浴室水槽时,排水是否正常?水槽下方是否保持干燥?”

清洁工回复:

“管道工刚刚关闭了浴室的水,预计一小时后恢复。油漆工已经完成工作并重新开放了厨房。我还没有检查这两个房间。不过我现在可以进入厨房了。”

两个需求状态仍为needs_evidence,但Decision-1切换到ask_kitchen:

“你现在能检查厨房吗?台面是否干净?冰箱里还有没有前一位客人留下的食物?”

清洁工回复:

“厨房台面现在干净了。我打开了冰箱并清除了前一位客人留下的所有物品。浴室的水仍然关闭,所以我还不能打开水龙头。”

随着厨房现在就绪,而剩余的水槽检查被阻塞,Decision-1选择defer。助手回复:

“在水恢复之前我们无法完成浴室检查。水恢复后请告知。”

稍后,当水恢复后,清洁工报告:

“水已经恢复了。我打开了水龙头,水槽正常排空,但水流过程中在接缝处出现了水滴。”

我们的助手回复:

“这个地方还不符合标准。浴室水槽下方有漏水问题。其他区域看起来良好。”

现在浴室标记为issue,下一步是finish。我们已收集到足够证据评估所有需求,尽管其中一个需求已确认存在问题。

随后清洁工纠正了之前的观察:

“哦,我之前关于床品的说法有误。那些干净的枕套是在隔壁房间,不是这里。在这个房间我确实更换了床单并整理了床铺,但我实际上还没有检查枕套。如果你需要的话,我现在可以去检查。”

“你现在能检查一下床铺吗?这个房间的枕套是否干净?”

Decision-1重新将卧室需求标记为needs_evidence并选择ask_bedroom。其他状态保持不变,包括水槽问题。

清洁工表示:

“我在枕套上发现了污渍,所以已经更换为干净的枕套,并用干净的床单重新整理了床铺。水槽仍然在下方滴水,还没有人修理。”

“这个地方仍然不符合标准。浴室水槽在漏水。其他区域看起来良好。”

Later, after maintenance has attended to the leak, the cleaner returns:

“Maintenance has now repaired the joint. After they finished, I ran the tap for a full minute. Water drained normally, and I watched underneath the whole time. It stayed dry.”

Decision-1 marks the bathroom as ready . All four requirements are now met, and it selects finish . GPT-Live replies:

“Great. Everything’s ready now.”

This completes the full interaction.

We can see that our assistant is working properly: across the conversation, the decision model keeps track of the current status and drives what to ask next. GPT-Live, in the meantime, turns those choices into a natural back-and-forth with the cleaner.

Note : In practice, if the inspection is long, you don't need to keep the voice session open. With OpenAI's GPT-Live API, there are two ways to do it: you can either have the app save the conversation and supply it as history when starting a new session, or if you’ve turned on session storage, you can fork the finished session and pick up where you left off under a new session ID. Find out more here .

7. Final Thoughts

In a live conversation, the app keeps asking itself the same things: what do we know now, and what’s next?

A decision model is a good fit for those calls. It returns clear choices the app can act on, and the speech model just has to say them well.

To try this in your own app, start with a judgment your app needs to make over and over. Think about what context it needs, and what answers the app can act on. Define those choices, then connect the decision to the conversation.

You can find the full notebook here .