Harrison Chase(@hwchase17)

as agents move towards working on goals, it becomes important to design those goals correctly wrote...

8.5内容质量

TL;DR · AI 摘要

设计目标时应确保反馈机制清晰,以提升代理人的表现和长期目标达成能力。

核心要点

  • 设计代理人的目标时,应确保反馈机制清晰,以便快速纠正错误。
  • 代理人在执行主观任务时,需要人类专家的反馈来学习品牌偏好和风格。
  • 优化反馈收集的用户体验是提升代理人性能的关键。

结构提纲

按章节快速跳转。

  1. 随着代理人的任务范围扩大,设计清晰目标变得尤为重要。

  2. 设计清晰的目标可以减少代理人的错误并提升其效率。

  3. 反馈机制是代理人学习和改进的核心,特别是在执行主观任务时。

  4. 优化反馈收集的用户体验是提升代理人性能的重要因素。

  5. Actively AI通过为每个客户设计代理人,展示了目标设计和反馈机制的实际应用。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 目标设计与反馈机制
    • 目标设计的重要性
      • 减少错误
      • 提升效率
    • 反馈机制
      • 人类专家反馈
      • 用户体验优化

金句 / Highlights

值得收藏与分享的关键句。

#AI代理#目标设计#反馈机制#用户体验
打开原文

Harrison Chase 在 X 上的发言:“目标工程:如何设计目标” / X

Harrison Chase

@hwchase17

$

/$

当代理开始朝着目标工作时,正确设计这些目标变得非常重要。与

@mgarimella

一起撰写了一些在 Actively! 上学到的经验教训。

目标工程:如何设计目标

5 分钟阅读

与 @mgarimella(Actively AI)和 Anshul Gupta(Actively AI)共同撰写

过去几年中,代理可以承担的任务范围急剧扩大。它们已经从简单的文本生成扩展到工具调用和决策制定,再到执行完整的任务。代理的未来是它们承担开放式的任务目标,并推动这些目标的完成。像 Hone 这样的产品发布,让我们看到了这个未来的一瞥。

在这个世界中,设计代理的范围至关重要。如果方向错误,将会浪费大量资源。Hone 代理设置的一个关键部分是为它们定义优化指标。

如何设计目标

在我们处理类似风格的代理时,我们意识到一个关于设计代理范围的重要事项:你希望设计代理的范围,使得代理在该范围内运行时,尽可能容易地给予反馈。

为什么如此重要?

当代理出错时,一个主要原因就是缺乏正确的上下文。为了纠正这一点,你需要为代理提供正确的上下文。上下文有不同的类型。一些类型的上下文包括访问正确的文档或 API,这相对容易解决。最难提供给代理的上下文是那些尚未被记录的上下文。这种上下文需要通过人类专家的反馈提供给代理。

这一点尤其重要,当代理的职责范围扩大到超越可验证的任务,并开始与组织内的人员一起从事主观性的工作时。例如,如果你想让代理帮助优化一个商业指标(如改进广告以优化营销表现),除了事实性上下文之外,还有许多细微差别是你希望控制代理行为的。你可能对听起来和看起来好的东西有一定的品味。你对品牌可以有多大胆和出格也有自己的看法。一个无法有效获取反馈以快速学习这些内容的代理很快就会变得毫无用处。

如果你的代理范围使得对代理工作的大量高质量反馈变得非常容易,这将极大地帮助你构建一个能够可靠地追求长期目标的代理。

一个相关的学习是,你应投入大量精力,为审查代理工作创建一个直观且愉悦的用户体验。代理执行任务的瓶颈通常是它们从反馈中学习。因此,你应努力优化反馈收集的便捷性和质量!为这一过程创建清晰的用户体验是一项值得投资的举措。

案例研究:Actively AI

让我们看看来自 Actively AI 的一个例子,Actively AI 为销售团队构建代理。

Actively 的第一个目标导向代理体验设计为每个账户(销售团队希望向其销售的潜在客户)配备一个代理。该代理的任务是推动账户进展,并为销售代表生成需要批准的操作。直观来看,这似乎很合理——这是一个相对受限且明确的目标,具有明确的结果。直觉上,人们认为账户的相关信息是代理最重要的上下文,因此应该围绕该信息来构建代理。

随着代理的运行,他们发现代理还需要另一个重要的上下文来源:如何高效地完成工作。具体来说,包括如何进行外呼、如何回复、如何制定交易策略、应该多积极、如何在大型组织中导航等。这种上下文信息分布在多个代理中——如果你在一个账户中学到了外呼的技巧,你通常也会希望将这些学习成果应用到其他账户中。

Actively 发现,当代理处理单个账户时,销售代表很难有效地使用并提供反馈给代理。在推进单个账户时,代理需要完成许多不同的任务,而这些任务往往分散在时间上。他们发现,(a)代理之间存在大量的上下文切换(因为对于单个代理来说,任何时间点上需要审核的内容都很少),(b)在代理之间分享学习成果的用户体验也很笨拙(这是必要的,因为他们正在学习相同的内容)。

Actively 的代理体验的第二个版本解决了这些问题。他们新的目标导向代理(基于 Deep Agents 构建)被称为“motions”。“motion”是一种特定的任务,例如外呼或早期阶段的交易推进。如何完成这项任务并没有明确定义,其中很多内容甚至与个别销售代表的偏好有关。许多知识存在于销售人员的脑海中,需要作为反馈提供给负责该 motion 的代理,以便其学习。由于一个 motion 包含许多相似的任务,销售人员很容易一次性查看所有任务。从 motion 中一个任务学到的任何反馈,自然地适用于该 motion 中的其他任务。

这将反馈(包括反馈的范围和提供反馈的便利性)与代理本身对齐,从而更容易创建强大的代理。

这并不是说账户上下文不重要——显然,它非常重要!但账户上下文通常已经被记录下来,而且更加客观。因此,Actively 有后台运行的上下文收集代理,它们会为每个账户收集上下文信息,但实际推动账户进入销售漏斗的工作现在由可以跨多个账户工作的 motions 来处理。它们负责销售 motion 的一部分,能够更快地从反馈中学习,并根据需要提取每个账户的上下文信息。

未来展望

未来,代理将发展到可以接受一个目标,然后自行外出工作以优化该目标的程度。

对这些代理所做工作的审核需要花费大量时间,但其价值非常高。这就是你教这些代理该做什么,并根据你的领域进行调整的方式。那些只存在于人们脑海中的知识,提取成一种易于传递给代理的形式非常重要。

为了做到这一点,你应将代理的目标与人类最容易审查的内容对齐。这使你能够创建令人愉悦的审查用户体验,提取尽可能多的信息,并使你的代理能够持续学习,从而随着时间的推移变得越来越有用和自主。

提示工程和上下文工程将消失,但目标工程将保留。

@

LangChain

我们一直在招聘:

langchain.com/careers

更多文章

加入 139.9K 位关注者

2026 年 11 月 14 日 下午 4:05

·

21.3K

浏览量

63

45

256

439