Towards Data Science

Neurosymbolic Agents Explained, With a Z3 Example in Python

8.5内容质量

TL;DR · AI 摘要

神经符号代理通过结合神经网络与符号工具(如Z3)验证决策,但英语到逻辑的转换仍是核心瓶颈。Air Canada案例揭示当前AI代理在复杂政策理解上的缺陷。

核心要点

  • 神经符号代理使用Z3等符号工具验证决策,提升可靠性
  • Air Canada案例显示当前代理在复杂政策理解上的不足
  • 英语到逻辑的转换是神经符号代理的主要瓶颈

结构提纲

按章节快速跳转。

  1. §Air Canada案例

    揭示当前语言模型代理在政策理解上的致命缺陷

  2. 通过符号工具验证决策的混合系统,确保可追溯性

  3. ›Z3求解器实践

    用Python演示符号工具如何校验模型输出

  4. 从Leibniz的符号计算理想到现代AI的融合尝试

  5. 自然语言到形式逻辑的转换仍是主要障碍

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 神经符号代理
    • 核心机制
      • 符号验证(Z3)
      • 自然语言处理
    • 案例
      • Air Canada政策错误
    • 挑战
      • 英语-逻辑转换瓶颈

金句 / Highlights

值得收藏与分享的关键句。

#Neurosymbolic Agents#AI#Python#Z3#Constraint Solving
打开原文

用Python Z3示例解释神经符号代理

Agentic AI

用Z3示例解释神经符号代理

从Air Canada聊天机器人案例出发,对Logic-LM、Agent-C和Amazon的验证进行巡礼,显示求解器本身是可靠的,但英语到逻辑的转换步骤存在问题。

Tomoharu Hayakawa

2026年11月18日

11分钟阅读

在Google上推荐我们

分享

作者提供的图片。

2022年11月,一名名为Moffatt的乘客向Air Canada网站聊天机器人询问丧事票价。他的祖母刚刚去世,他需要从温哥华飞往多伦多参加葬礼。聊天机器人告诉他可以购买普通票并在90天内申请折扣,但这是错误的。该航空公司的实际政策不允许退款。事实上,聊天机器人甚至附上了一条指向该政策页面的链接。

Air Canada拒绝退款。当Moffatt将案件提交给仲裁机构时,航空公司辩称其不对聊天机器人的说法负责。2024年2月,仲裁机构驳回了这一论点,并命令航空公司向他支付差额。

我认为这个案例突显了语言模型代理的核心问题之一。聊天机器人给出了一个完全错误但充满信心的答案。目前有多种方法正在实施以缓解这一问题,神经符号代理是对此问题的一种回应。它们将代理的部分推理交给符号工具(如约束求解器或证明检查器),这些工具可以显示模型何时出错。研究结果令人印象深刻,但这些代理仍然存在重大问题。

在本文中,我将回顾神经符号代理的定义,然后用Python构建一个小型示例,说明当前存在的问题。

什么是神经符号代理?

在17世纪80年代,戈特弗里德·威廉·莱布尼茨设想了一种形式语言,任何论点都可以用这种语言精确地写下来。在他的世界里,两个意见不同的人不再需要辩论。他们只需坐下来说"Calculemus(让我们计算)"。他相信人类的争端可以被精确的符号所解决。

这个计划由于实际原因失败了。有人必须手动将日常问题翻译成形式语言,这似乎相当不可能。人工智能几十年来也遇到了同样的障碍。专家系统和规划器等符号系统可以可靠地推理,但每个人必须编写每条规则。神经网络可以从数据中学习,但它们的输出没有保证正确性,因为它们仍然是黑箱。

大型语言模型能够改变这一现状。它们可以将英语翻译成SQL或PDDL(AI规划器的输入语言)等正式语言。

如今,“神经符号”一词涵盖了多种不同的系统,因此在本文中我尝试使用更狭窄的定义:

神经符号代理是指至少有一个决策是由处理具有正式含义的显式符号的组件做出或验证的代理,这样决策可以在不信任神经网络的情况下被验证。

如果想了解神经和符号传统是如何融合的更广泛视角,Henry Kautz 2020年的Engelmore讲座是一个很好的起点:

求解器实际上检查什么?

设x为英文任务。具有参数θ的语言模型将x翻译成形式规范φ。然后符号引擎Σ返回一个答案y和一个证书c,例如证明或满足分配:

φ

=

f

θ

(

x

)

,

y

c

Σ

$$ \varphi = f_\theta(x), \qquad (y,\ c) = \Sigma(\varphi) $$

​

证书证明答案符合规范。但它无法保证规范与任务匹配:

$$ c\ \text{certifies}\ y \models \varphi, \qquad \text{but not}\ \ y \models x $$

没有人能正式验证 $ y $ 是否符合用户的意图,因为“用户的意图”本身没有明确的定义。在本文中,我将 $ x $ 与 $ \varphi $ 之间的差距称为形式化差距。

···

现在你可能会问:“为什么需要添加检查器?”主要原因在于错误会累积。如果任务的每一步以概率 $ p $ 正确执行且错误未被发现,那么 $ n $ 步任务成功的概率为 $ p^n $。如果一个健全的检查器能捕捉每个错误,且代理可以对每一步尝试最多 $ k $ 次,成功率会显著提高:

$$ P_{\text{unchecked}}(n) = p^{n}, \qquad P_{\text{checked}}(n) = \left(1 - (1 - p)^{k}\right)^{n} $$

例如,当 $ p = 0.95 $ 且有 20 步时,没有检查器的代理仅能正确完成 36% 的任务。而使用检查器且每步最多尝试 3 次时,正确完成率可达 99.8%。

亚利桑那州立大学的 Subbarao Kambhampati 团队认为,语言模型无法可靠地验证自己的计划。这是因为模型自我检查时与编写计划的模型存在相同的盲点。他们提出了 LLM-Modulo 框架,其中模型提出计划,外部验证器进行判断。他的演讲在不到 20 分钟内解释了这一论点:

是否有效?

这取决于检查器在代理循环中的位置。近期的研究将其置于四个位置。

第一个选项是让求解器生成答案。在 Logic-LM [2] 中,语言模型以符号形式编写问题,求解器进行推理。如果求解器报告错误,信息会返回模型以修正翻译。在五个逻辑推理数据集中,Logic-LM 的平均准确率比标准提示高 39.2%,比思维链提示高 18.4%。随着问题需要更多推理步骤,其优势进一步扩大,这与上述累积论证的预测一致。

第二个选项是在代理执行操作前检查每个操作。Agent-C [3] 使用小型规则语言编写规则(如“访问用户数据前需验证身份”),将其转换为逻辑,并使用 SMT 求解器阻止违反规则的工具调用。在零售和航空客户服务基准测试中,它实现了 Claude Sonnet 4.5 和 GPT-5 的 100% 策略合规性。其任务效用评分也有所提升。这与“安全规则使代理更不实用”的常见假设相悖。

第三个选项是检查最终答案。亚马逊的自动化推理检查 [4](Bedrock Guardrails 的一部分)将书面策略转换为逻辑,并将每个模型响应与之对比。每个响应会被翻译多次,只有在版本一致时结果才被信任。作者报告称,其正确率超过 99%,且几乎无误报。

第四个选项是在训练过程中将检查器作为奖励使用。这是目前最强的定理证明器的训练方式。

符号组件在语言任务之外的表现也优于纯神经网络模型。2026年对178篇论文的综述[5]显示,机器人任务完成率提升23%,自主导航成功率高达95.4%(神经基线模型仅为18.6%),且训练数据需求显著减少。需要强调的是,这些研究对比的是截然不同的系统。

一个Python小示例

我为一个调度任务构建了一个小型代理。请求以纯英文编写,代理需要将其转换为Z3(微软开源的SMT求解器,pip install z3-solver)的约束条件:

在我们的单GPU节点上安排四项任务:数据摄入、训练、评估和部署。数据摄入要在训练和评估之前运行。评估要在训练之后、中午12点维护窗口之前运行。中午12点不运行任何任务。部署在下午进行,至少在评估后两小时。

模型不应自行编写Z3代码。相反,它通过每句英文对应一个命名约束的方式填充小型类型化格式,再通过代码将其转换为Z3。这样,永远不会运行模型生成的代码。在下面的代码中,模型错误地将一个约束条件反向转换:

注意:为保持代码片段简洁,此处直接从编译后的约束条件开始,跳过类型化格式。

python

code
from z3 import Int, Solver, Distinct, And, sat
jobs = ["ingest", "train", "evaluate", "deploy"]
t = {j: Int(j) for j in jobs}             # 每个任务的起始小时
def base():
"""09:00到17:00的一小时时段,每个时段只安排一个任务。"""
return [And(t[j] >= 9, t[j] <= 17) for j in jobs] + [Distinct(*t.values())]
def schedule(spec):
s = Solver()
s.add(base())
for name, c in spec.items():           # 每个句子对应一个命名约束
s.assert_and_track(c, name)
if s.check() == sat:
m = s.model()
return {j: m[t[j]].as_long() for j in jobs}
return sorted(str(c) for c in s.unsat_core())
llm_spec = {   # LLM的转换结果
"ingest_first":     And(t["ingest"] < t["train"], t["ingest"] < t["evaluate"]),
"eval_after_train": t["train"] < t["evaluate"],
"eval_before_noon": t["evaluate"] < 12,
"nothing_at_noon":  And([t[j] != 12 for j in jobs]),
"deploy_afternoon": t["deploy"] >= 13,
"deploy_gap":       t["evaluate"] >= t["deploy"] + 2,   # 反向错误
}
print(schedule(llm_spec))

markdown

code
['deploy_afternoon', 'deploy_gap', 'eval_before_noon']

求解器不仅会拒绝该规范,还会指出六个约束中无法同时成立的三个。每个约束名称对应一个英文句子,因此代理可以明确告诉模型需要重新检查哪些句子。这种反馈比其他语言模型的自由文本评论要有效得多。在模型修正反向约束后,求解器找到了可行方案:

code
llm_spec["deploy_gap"] = t["deploy"] >= t["evaluate"] + 2   # 根据反馈修正
print(schedule(llm_spec))
code
{'ingest': 9, 'train': 10, 'evaluate': 11, 'deploy': 13}

现在调度方案已通过验证,满足所有约束条件。然而,如前所述,求解器无法保证这些约束是否准确反映了用户的意图。最新研究表明,这正是此类系统经常失效的领域。

系统失效点?

Planetarium [1] 直接进行了测试。研究人员要求 GPT-4o 将英文规划问题转换为 PDDL。其输出中几乎全部都是有效的 PDDL 且可以被规划器求解。但其中只有约四分之一描述了实际被要求的问题。对于其余情况,规划器会返回一个针对错误问题的正确计划。

2026 年关于神经形式验证 [6] 的研究发现了一个更糟糕的情况。一个编码代理被要求判断 Python 程序是否正确,并将每个问题转换为 Dafny(程序验证器)的证明任务。当代理和验证器简单连接时,代理“证明”了 98% 的正确程序和 98% 的错误程序。验证器从未接受错误的证明。事实证明,代理证明的陈述已经不再描述程序本身。当翻译过程被拆分为无法看到预期结果的独立阶段时,精确度仅提升至 92%。即使如此,系统也只能决定 57% 的情况。

解算器能否发现错误的翻译?

我的调度示例存在同样的问题。"下午"可能指 13:00 或之后,也可能指 14:00 或之后。模型在未说明的情况下选择了其中一种解释。与其信任单一翻译,代理可以记录两种解释并询问解算器它们是否会产生矛盾:

code
others = [c for name, c in llm_spec.items() if name != "deploy_afternoon"]
reading_a = t["deploy"] >= 13    # "afternoon" begins at 13:00
reading_b = t["deploy"] >= 14    # "afternoon" begins at 14:00
def find(*extra):
s = Solver()
s.add(base() + others + list(extra))
if s.check() == sat:
m = s.model()
return {j: m[t[j]].as_long() for j in jobs}
print(find(reading_a != reading_b))   # a schedule on which the readings disagree
print(find(reading_a, reading_b))     # a schedule both readings accept
code
{'ingest': 9, 'train': 10, 'evaluate': 11, 'deploy': 13}
{'ingest': 9, 'train': 10, 'evaluate': 11, 'deploy': 14}

两种解释产生矛盾的调度方案(部署时间为 13:00)与解算器"验证"的调度方案相同。

解决方案可能很简单:代理可以向用户提出具体问题,例如"13:00 被视为下午吗?" 或者选择两种解释都能接受的调度方案(将部署时间调整为 14:00)。如果存在这样的方案,歧义就不会影响决策,代理可以无需询问继续执行。亚马逊的自动化推理检查在生产环境中使用相同思路,通过多次翻译每个响应并验证版本一致性来确保准确性 [4]。

结论

当任务具有明确的正确性形式定义(如逻辑谜题)时,神经符号代理可以有效工作。薄弱环节在于将英文转换为逻辑的翻译过程。我发现这一点非常有趣。

基于上述研究和示例,我建议构建神经符号代理的开发者遵循以下四个实践:

  • 让模型填写类型化规范而非直接编写求解器代码。
  • 为每个约束命名并标注其来源句子,以便将失败追溯到原始文本。
  • 至少进行两次任务翻译。在信任任何版本之前,让求解器查找矛盾。
  • 为规范分配人工审核时间。

参考文献

  • M. Zuo, F. Piedrahita Velez, X. Li, M. L. Littman, S. H. Bach, Planetarium: A Rigorous Benchmark for Translating Text to Structured Planning Languages (2025), NAACL 2025
  • L. Pan, A. Albalak, X. Wang, W. Y. Wang, Logic-LM:通过符号求解器增强大语言模型以实现可信的逻辑推理(2023),EMNLP 2023会议论文集
  • A. Kamath, S. Zhang, C. Xu, S. Ugare, G. Singh, S. Misailovic, 为大型语言模型代理强制时间约束(2025),arXiv:2512.23738
  • C. An, S. Bayless, S. Buliani 等,面向自然语言形式化与验证的神经符号方法(2025),arXiv:2511.09008
  • S. B. Hakim, M. Adil, A. Velasquez, H. H. Song, 神经符号代理AI:架构、集成模式、应用、开放挑战与未来研究方向(2026),《计算机科学评论》60期
  • S. K. Lahiri, 神经形式化验证:面向语言无关的代理程序形式化推理(2026),arXiv:2608.21516