Martin Fowler

Tests as data: ensuring AI-generated code does what we want

8.5内容质量
Tests as data: ensuring AI-generated code does what we want

TL;DR · AI 摘要

将测试数据作为契约而非测试代码,能有效确保AI生成代码的正确性。Martin Fowler提出客户测试和表格测试可解决AI时代测试失效问题。

核心要点

  • 客户测试成为人与AI之间的主要契约,确保需求一致性
  • 表格测试比传统代码测试更易维护且抗AI重构
  • 利用Fit框架和Go表格测试可降低实施成本30%以上

结构提纲

按章节快速跳转。

  1. 揭示AI生成代码导致测试失效的行业痛点,引用Thoughtworks开发者访谈数据

  2. 提出客户测试替代开发者测试,测试数据优于测试代码的三大论点

  3. 详解表格测试在Go语言中的应用及批准测试的文本验证方法

  4. 包含UI测试策略、外部系统处理及测试框架保护方案

  5. 分析该方法在复杂业务场景和实时系统中的适用边界

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • AI时代测试重构
    • 核心主张
      • 客户测试契约
      • 测试数据优先
      • 抗AI重构设计
    • 技术实现
      • Fit框架应用
      • Go表格测试
      • 批准测试方案

金句 / Highlights

值得收藏与分享的关键句。

#AI测试#软件工程#Martin Fowler#测试自动化
打开原文

测试即数据

确保AI生成的代码符合预期

在AI编码助手时代,自动化测试面临挑战:当AI代理同时编写生产代码和测试代码时,开发者可能失去自动化测试防止功能错误的保障。我提出三个观点:(1)当AI编写代码时,开发者成为其客户;(2)因此,客户测试而非开发者测试成为人类与AI之间的主要契约;(3)将该契约纳入测试数据而非测试代码,能更有效地防止编码代理的意外修改。所有这些都优化了可读性更强的测试,建立人类与AI之间的契约。虽然过去DSL解析器和定制测试运行器的编写和维护成本高昂,但如今AI使它们变得廉价。我借鉴了已有的实践:极限编程中的客户导向验收测试、Fit的测试DSL和示例化规范、Go语言的表格测试,以及批准测试中应用状态的可读文本表示。

2026年11月11日

Matteo Vaccari

Matteo是Thoughtworks Italia的技术负责人兼开发者。他喜欢极限编程帮助团队和企业取得成功的方式。

目录

  • 引言 AI生成代码的问题 AI生成测试的问题 AI生成规范的问题 我的建议
  • 核心技术 客户测试 关注关键点 并非所有测试都能放入表格
  • 借鉴已有传统 Fit与示例化规范 Go语言中的测试实践 批准测试 批准场景与批准日志
  • 实现建议 并非总是端到端测试 UI的客户测试 处理外部系统 保护测试框架 验证测试 超越基于示例的测试
  • 适用性限制
  • 结论

附录

  • 表格测试优于一次性场景
  • 表格拯救局面
  • 内部资源与旁路通道
  • 这不是只是Gherkin和Cucumber吗?
  • 内部DSL

引言

AI生成代码的问题

2026年初,我采访了26位为一家深度投入AI编码代理开发的组织工作的开发者。我的问题之一是“你信任我们的测试吗?”毕竟,这些开发者来自Thoughtworks,而Thoughtworks以测试质量和彻底性著称。不幸的是,开发者们不约而同地回答:“嗯……我不太信任我们的测试!因为即使我最初生成测试时会审查它们,但随着新功能的添加,AI会重构现有代码和现有测试,这让我不再确信测试是否仍然确保正确的行为。”

这让我开始思考。随着我们学会从编码代理中完成更多工作,AI编写大部分甚至所有测试将成为自然趋势。

20世纪末,开发者编写自动化测试的实践是软件工程的重要突破。最实用的方式是先写测试(测试优先),并一次编写并通过一个测试(测试驱动开发)。这种实践使开发商业软件的团队能够以正式规范和证明成本的几分之一交付几乎无缺陷的代码。

2026年,大量代码由AI编码代理生成,这些代理甚至在未被要求时也会自动生成测试,因此人们希望借此实现与TDD(测试驱动开发)时代人类程序员相同的代码正确性水平。不幸的是,这并非罕见的现象。事实上,2026年初已有多个报告指出,各组织部署的代码质量正在恶化。

虽然我无法确定这种广泛报道的外部质量下降的确切原因,但我认为其中一个可能的原因是自动化功能测试的质量下降。

AI生成测试存在的问题

当我们将高度自主权交给AI生成代码时,必须信任AI能够编写良好的测试,因为手动编写所有测试已不再现实。让我们回到开发人员报告的案例:当AI重构代码时,他们不再信任测试。为什么AI会重构测试?很可能是由于函数签名随着代码演进而改变,这在开发过程中是预期会发生的情况,因此AI的这种行为并非错误。但阅读AI生成的测试代码比阅读AI生成的生产代码更加乏味,因此指望开发人员在每个步骤都仔细重新检查所有修改后的测试代码并不现实。

AI生成测试的另一个问题是其可能与实现代码高度耦合。如果要求编码代理“为模块X编写单元测试”,它会生成大量测试,这些测试通常会使用大量模拟和存根。测试的目的是在代码返回错误结果或产生错误副作用时触发失败。不幸的是,过度依赖模拟和存根的测试在被模拟/存根代码实现发生变更时容易失效,即使变更只是一个不影响正确性的无害重构。因此这些测试会产生大量误报。更糟糕的是,这些测试可能无法让我们确信它们能在代码出错时提供保护。与其证明“当输入为X时,输出必须为Y”,这些测试可能只是证明“调用函数A时会调用函数B”,这并不具有实际意义,因为它们并未证明代码会产生正确结果。事实上,当要求AI为某功能编写测试时,我们希望测试能明确指定正确行为,但大多数情况下AI只会编写验证当前实现(包括其中可能存在的任何缺陷)的测试。

综上所述,AI生成的测试通常存在以下问题:

  • 测试代码量庞大
  • 测试代码难以阅读
  • 测试与实现代码高度耦合
  • 可能甚至无法证明代码的正确性

我们当然可以强制要求人类开发人员编写所有测试并确保质量,但这将抵消编码代理预期带来的大部分经济效益,而且在软件工程发展趋势下并不现实。那么是否存在一种方法,能让人类更容易地编写和阅读测试?这正是下文将要探讨的内容。

AI生成规范存在的问题

许多基于AI的开发工作都是通过某种形式的规范驱动开发(spec-driven development)完成的:供应商推荐这种模式,一些SDD框架也十分流行。尽管在开发前与AI对齐似乎很有用(例如让AI提出澄清问题),但以Markdown文档形式撰写的文本规范仍存在一些问题。

一个问题是,生成的文本内容过多,使开发人员难以全部阅读。当达到某个临界点后,疲劳感会逐渐出现,我们可能仅粗略浏览后就接受AI生成的计划,这种现象被称作“认知放弃”。另一个问题是维护:当某个功能完成后,我们该如何处理所有规范?虽然一些框架支持维护一组持久的规范,但随着时间推移,这些规范的数量可能增长到难以维护的程度。第三个问题是大语言模型无法完全满足所有详细规范;有时AI会为了更快地宣称“完成”而放弃部分规范。

最后,也是最根本的问题是:英语存在歧义。尽管我们可以尽可能精确地描述需求,但自然语言无法达到编程语言的精确程度。简而言之,文本规范无法被执行;而测试可以。

我的建议

我们的目标是创建具有以下特性的测试:

  • 预测生产环境的成功:当所有测试通过时,能让我们确信功能已正确实现,并将在生产环境中按预期运行
  • 具备重构抗性
  • 尽可能易于阅读

为实现这一目标,我们建议采用以下技术:

  • 客户测试:使用客户语言编写
  • 黑盒测试:从外部测试系统或系统组件,不涉及生产代码的实现细节
  • 数据形式的测试:聚焦关键细节:输入、预期输出或副作用、测试环境。换句话说,测试应仅捕获事实,测试代码中不应包含实现细节
  • 测试DSL:找到最直接的方式,用领域专家可理解的文本表示输入、输出和系统状态,并在测试失败时生成清晰的差异报告

当AI编写代码时,开发人员在某种程度上就变成了客户。测试是一种契约,定义了代码应该为我们完成什么。将测试迁移到数据文件中,并由相对简单的测试运行器解释,能更有效地防止AI的意外篡改。同样的AI也能轻松编写运行我们测试DSL的测试运行器。

这给测试驱动开发(TDD)留下了什么位置?考虑到人类在编码时从TDD中获益良多,我们是否能期待AI在被要求或被迫使用TDD时表现得更好?让AI遵循标准TDD并不容易,因为AI通常会在编写测试前生成大量代码。另一方面,当仅仅告诉AI我们想要什么以及如何验证结果时,编码代理似乎表现得更好:添加如何实现结果的说明似乎会让它们表现更差。

此处讨论的技术为编码代理提供了所需的“如何验证结果”的方法。从某种角度看,这可以视为一种以更大步长进行测试优先开发的方式。总体而言,较小的步长使开发更安全;但本文的目标是探讨如何安全地实现更大步长的方法。

核心技术

客户测试

开发人员编写测试是极限编程最初的实践之一。由此产生的测试有时被称为“开发人员测试”,因为它们帮助开发人员确保代码按预期工作。(大多数开发人员称其为单元测试。)极限编程的另一项原始实践是客户测试,也称为验收测试。

客户测试是用客户语言编写的测试,它从用户的角度描述软件应具备的功能。

其核心思想是客户能够理解客户测试试图证明的内容,从而使这些测试有助于客户与开发人员之间达成一致。有趣的是,当机器编写大部分代码时,人类开发人员开始越来越多地扮演代码的“客户”角色。我们希望以尽可能少涉及实现细节的方式,指定软件应具备的功能,因为这些实现细节已委托给AI处理。

极限编程实践的同心圆。图片由Ron Jeffries提供,经授权使用。

因此,我认为客户测试是我们应主要依赖的测试类型,尤其是在生产代码由AI生成时。单元测试(开发人员测试)仍然可能有用,但我们不会将其视为指定行为时的主要真相来源。

客户测试:

  • 定义用户故事的功能内容,当测试通过时,我们便知道该故事在功能上已完整
  • 保护我们免受回归影响:一旦客户测试通过,它必须始终通过,直到所测试的业务规则发生变化
  • 支持重构,因为它们测试行为而非实现
  • 最后但同样重要的是:它们是确保开发人员与客户之间达成一致的工具。客户可以阅读并理解测试,并能提供反馈以确保我们测试的是正确的内容

另一方面,客户测试可能难以使用。特别是当它们作为端到端测试实现时,可能会很慢且不稳定。我们将在后续章节中讨论解决这些问题的方法。

聚焦关键要素

让我们看看如何解决难以阅读测试的问题。考虑以下简单示例:

code
@Test  
void defaultGreeting() throws IOException, InterruptedException {  
    HttpRequest request = HttpRequest.newBuilder()  
            .uri(URI.create(baseUrl + "/hello"))  
            .GET()  
            .build();

    HttpResponse<String> response =  
            client.send(request, HttpResponse.BodyHandlers.ofString());

    assertEquals(200, response.statusCode());  
    assertEquals("Hello, world!", response.body());  
}

@Test  
void personalisedGreeting() throws IOException, InterruptedException {  
    HttpRequest request = HttpRequest.newBuilder()  
            .uri(URI.create(baseUrl + "/hello?name=Joe"))  
            .GET()  
            .build();
code
HttpResponse<String> response =  
        client.send(request, HttpResponse.BodyHandlers.ofString());

assertEquals(200, response.statusCode());  
assertEquals("Hello, Joe!", response.body());  
}

你能立即看出这些测试试图证明什么吗?有经验的眼睛会关注关键部分,如下所示:

code
@Test  
void
defaultGreeting
() throws IOException, InterruptedException {  
    HttpRequest request = HttpRequest.newBuilder()  
            .uri(URI.create(baseUrl + "
/hello
"))  
            .GET()  
            .build();

    HttpResponse<String> response =  
            client.send(request, HttpResponse.BodyHandlers.ofString());

    assertEquals(200, response.statusCode());  
    assertEquals("
Hello, world!
", response.body());  
}

@Test  
void
personalisedGreeting
() throws IOException, InterruptedException {  
    HttpRequest request = HttpRequest.newBuilder()  
            .uri(URI.create(baseUrl + "
/hello
?name=Joe
"))  
            .GET()  
            .build();

    HttpResponse<String> response =  
            client.send(request, HttpResponse.BodyHandlers.ofString());

    assertEquals(200, response.statusCode());  
    assertEquals("
Hello, Joe!
", response.body());  
}

通过关注测试名称、输入和预期输出,可以明确这些测试试图证明:标准问候语是“Hello, world!”,当提供名称时问候语是“Hello, <name>!”。代码中其他所有部分都是样板代码,使测试意图更难看清。

那么我们为什么不只关注这三个要素呢?假设我们只编写类似以下内容:

code
suite: greetings
tests:
  - name: "default greeting"
    request:
      resource: "/hello"
      name: null
    greeting: "Hello, world!"
  - name: "personalised greeting"
    request:
      resource: "/hello"
      name: "Joe"
    greeting: "Hello, Joe!"

这个YAML文件可以作为参数化测试的测试用例来源,且AI很容易为其编写测试运行器。正常流程如下:

  • 草拟你希望拥有的测试领域特定语言(DSL)的示例
  • 让AI为其编写测试运行器
  • 人类和AI共同整合其他有用的测试用例,例如:
  • name: "name must not be entirely whitespace" request: resource: "/hello" name: " " error: "Name must not be entirely whitespace"

我们可以通过提取可以存储在CSV文件中的表格来使内容更简洁:

code
test_name,             resource, name, greeting,         error
default greeting,      /hello,   null, "Hello, world!",
personalised greeting, /hello,   Joe,  "Hello, Joe!",
not whitespace,        /hello,   " ",  null,             Name must not be entirely whitespace

为什么使用表格?因为表格能让人一目了然地看到已覆盖的测试用例和可能缺失的用例。此外,表格也更容易添加新的测试用例。

本质上,这就是“测试即数据”的概念。这如何帮助解决开发者不信任测试的问题?因为它让测试(1)聚焦于对我们作为开发者客户最重要的部分,(2)更抗重构,(3)当测试写在文本文件中时,更容易发现AI对其进行了修改。

表格在输入数据、应用状态和预期输出均为单一标量值时表现良好。当涉及结构化数据时,我们需要使用下文所述的结构化场景。

并非所有测试都适合表格形式

当测试输入不是简单值时,表格格式就无法满足需求。此时可以转向更结构化的场景描述。我首次接触用户测试的概念,源于Ron Jeffries在2004年出版的《Extreme Programming Adventures in C#》一书。书中描述了一个XML标记文章编辑器的开发过程,并以简化后的用户测试示例开头:

code
---- before ----
<p>Fo|o</p>
<p>Bar</p>
----------------
* press enter
---- after ----
<p>Foo</p>
<p>|</p>
<p>Bar</p>
----------------

该测试的目的是展示当光标(用"|"表示)位于段落中间时,用户按下回车键应发生的变化。Jeffries继续展示了如何为该测试编写一个简单的运行器。从一开始,这种用户测试就保存在文本文件中。

另一个例子:在开发编程语言解释器或编译器时,我始终认为先设计语法规则再逐步处理每个阶段的瀑布模型,不如从最简单的有意义程序开始(对大多数语言来说就是"Hello, world!"),然后逐步构建语言特性。以这种方式与编码代理协作,可以安全地编写非常复杂的解释器和编译器。以下是一个BASIC解释器实验的示例,这种方法同样适用于更复杂的语言:

code
tests:  
  - name: "LEN function basic tests"  
    program: |  
      10 PRINT LEN("HELLO WORLD")  
      20 PRINT LEN("")  
      30 PRINT LEN("A")  
      40 END  
    expected:  
      - "11\n"  
      - "0\n"  
      - "1\n"  
  - name: "LEFT$ function basic tests"  
    program: |  
      10 PRINT LEFT$("HELLO WORLD", 5)  
      20 PRINT LEFT$("HI", 10)  
      30 PRINT LEFT$("TEST", 0)  
      40 PRINT LEFT$("HELLO", 3)  
      50 END  
    expected:  
      - "HELLO\n"  
      - "HI\n"  
      - "\n"  
      - "HEL\n"

如何测试Web应用?这里有一个待办事项应用的测试思路:

code
## 取消勾选已完成的待办事项会重新激活它
GIVEN model:
    [x] buy milk  
    [ ] walk the dog
WHEN user:
    click toggle of "buy milk"
THEN page:
    > ""
    [ ] buy milk  
    [ ] walk the dog  
    -- **2** items left
THEN model:
    [ ] buy milk  
    [ ] walk the dog

该应用的显示效果(渲染后如下):

简化自原始HTML的显示效果:

code
> ""
[ ] buy milk  
[ ] walk the dog  
-- **2** items left

这种文本表示形式易于插入测试中,测试失败时能产生清晰的"差异"对比,并且对UI视觉外观的变化具有鲁棒性。将HTML或DOM转换为此种文本表示的函数被称为"投影"(projection),更简单地说,就是"打印机"(printer)。

在本例中,我们使用了另一个打印机,用于展示应用程序内部状态的内容。它位于THEN模型部分,使用语法与UI打印机生成的语法类似。之所以添加这个打印机,是因为在测试一个预期会改变状态的操作时(例如在此例中取消勾选待办事项),我们不应仅仅满足于在UI中看到变化:我们还希望确保应用程序的持久状态也发生了改变。

在两个打印机之外,本例中还使用了两个解析器:第一个解析器用于GIVEN模型部分,用于表示测试的初始状态,并按照测试所需的方式设置应用程序的状态。第二个解析器用于WHEN用户部分,用于解析发送给应用程序的命令。它的任务是识别可以应用的一组操作词汇。

展示待办事项列表测试工作原理的时序图。

应用程序状态的打印机和解析器必须能够以某种方式访问和操作应用程序状态本身;这可以通过旁路通道实现。

上述所有机制都会在测试运行器中一起使用,而编码代理可以轻松生成该测试运行器。

借鉴现有传统

Fit 与示例化规范

Ward Cunningham 被认为是许多后来在极限编程中流行起来的理念的首创者。Cunningham 曾讲述过,大约在2002年时,他的客户倾向于使用Excel文档提供自己的规格说明。厌倦了将测试数据从Excel复制到测试代码中,他编写了一个程序,该程序可以从Excel读取测试数据并自动执行测试。这使得他的客户可以轻松地扩展和细化规格说明,而他也可以验证自己的程序是否与规格说明本身匹配。他将这个工具命名为Fit,并且为各种编程语言提供了实现。

Fit 的截图,显示了测试结果。图片由 James Shore 提供,已获授权使用。

2004年,Martin Fowler 发表了关于示例化规范的文章,该文章基本上总结了这一理念:复杂的业务需求可以通过让开发人员和业务人员就应发生的情况达成一致的示例来澄清。后来,在2011年,Gojko Adzic 出版了一本同名书籍,到那时,已经出现了许多类似的方法,其中最流行的是 Cucumber 及其语言 Gherkin。

示例化规范的传统推广了客户测试;但这种方法并非没有代价。从文档中提取表格的自动化过程可能很慢且脆弱,而 Cucumber 需要一层解释代码,有时可能成为错误和误解的来源。

James Shore 是 Fit 的早期采用者,维护了其许多实现。他后来对这种方法感到失望,认为虽然该工具的主要目的是改善与客户的沟通,但大多数客户并不想编写测试表格,这导致他不得不亲自与客户沟通并编写 Fit 测试。后来,Fit(以及 Gherkin)的使用通常被委托给 QA 团队在软件开发完成后进行测试,这违背了与客户进行对话的初衷。出于这些原因,他认为如果客户不愿意编写测试,那么维护 Fit 或 Gherkin 运行器的开销并不值得,用代码编写测试更有意义。

客户不愿意编写客户测试这一事实经常被用来反对客户测试的实践。我认为我们今天所处的环境改变了这一事实,因为:

  • 当 AI 编写大部分生产代码时,人类开发人员就处于客户的位置:我们描述想要什么,并对结果提供反馈,这与客户一直以来的做法完全一致。
  • 编写和维护运行客户测试的基础设施是编码代理可以快速且廉价完成的工作。

示例驱动规范可以通过示例明确验收标准,从而解决引言中提到的规格驱动开发的问题,使规格描述大幅缩短。通过将这些测试作为规范的组成部分,我们使规范可执行且无法被编码代理绕过。这些规范不会过时,因为它们在 CI 中运行。

Go 语言中的测试实践

一种相关的方法源自 Go 编程语言的传统,其中大多数测试是表格形式的。例如,这是“fmt”包的测试方式:

code
var fmtTests = []struct {  
    fmt string  
    val any  
    out string  
}{  
    {"%d", 12345, "12345"},  
    {"%v", 12345, "12345"},  
    {"%t", true,  "true"},

    // basic string  
    {"%s",    "abc",              "abc"},  
    {"%q",    "abc",              `"abc"`},  
    {"%x",    "abc",              "616263"},  
    {"%x",    "\xff\xf0\x0f\xff", "fff00fff"},  
    {"%X",    "\xff\xf0\x0f\xff", "FFF00FFF"},  
    {"%x",    "",                 ""},  
    {"% x",   "",                 ""},  
    {"%#x",   "",                 ""},  
    {"%# x",  "",                 ""},  
    {"%x",    "xyz",              "78797a"},  
    {"%X",    "xyz",              "78797A"},  
    {"% x",   "xyz",              "78 79 7a"},  
    {"% X",   "xyz",              "78 79 7A"},  
    {"%#x",   "xyz",              "0x78797a"},      
    {"%#X",   "xyz",              "0X78797A"},  
    {"%# x",  "xyz",              "0x78 0x79 0x7a"},  
    {"%# X",  "xyz",              "0X78 0X79 0X7A"},  
    //[...]

上述代码创建了一个结构体数组,包含:被测试的格式(例如“%x”)、输入字符串(例如“abc”)以及格式化后的文本(例如“616263”)。一个简短的测试运行器会将表中所有行与 fmt 函数进行对比。Go 标准库中的许多函数都以类似方式测试。

在 Go 中,还有一种成熟的实践是将场景写入文本文件,特别是在测试依赖文件存在或检查文件是否被创建时。以下是 go 命令行工具测试的示例:

code
env GO111MODULE=off

# hello world
go run hello.go
stderr 'hello world'

-- hello.go --
package main
func main() { println("hello world") }

我们看到,为测试核心 Go 工具程序而开发了一个自定义的 DSL。该测试使用了 go run 子命令。DSL 允许测试编写者定义环境变量、创建文件、执行命令并检查标准错误通道的输出结果。

批准测试

第三个相关传统是 Llewellyn Falco 推广的 Approval Tests。在这种方法中,常见做法是让系统生成一个文件,该文件可能表示一系列计算过程、特定时刻的 UI 界面状态,或是系统内部状态的可读表示形式。关键点在于,我们获得的表示形式必须是人类可理解的,人类可以对其进行批准。一旦文件被批准,它可以在未来的运行中重新生成,当新生成的文件与已批准的文件不同时,就会表明系统行为发生了变化。运行这些测试的机制涉及一个测试运行器,该运行器可以来自 approval testing 库,也可以由编码代理临时生成。这种方法与我们当前的兴趣相关,因为它强调人类查看的是测试数据而非测试代码。

从批准测试中可以借鉴的一个关键理念是,寻找使应用程序状态和输出可读且“可差异比较”的方法,这意味着当测试失败时,我们可以清晰地看到预期结果与实际结果之间的文本差异。

Llewellyn Falco 和 Lada Kesseler 在视频中对批准测试的实际应用进行了精彩的解释。

批准的场景和批准的日志

Ivett Ördög 已经推广了我在本文中描述的技术一段时间了。她发表了“批准的场景”和“批准的日志”模式,主张使用领域特定语言来表达客户测试。第一个模式用于在提前指定行为时;第二个模式则依赖运行中的系统生成其状态的文本表示,该表示可以进行调整并用于生成新测试,尤其是在测试现有系统时,或作为修复错误的第一步编写失败测试时。她的视频详细解释了这些技术。

典型的批准场景或批准日志 DSL 由三部分组成:系统状态的设置、要执行的操作或操作序列,以及操作后系统状态的表示。启动该过程的步骤包括:

  • 与 AI 协作确定 DSL 格式,并编写第一个测试
  • 让编码代理生成 DSL 解析器和测试运行器
  • 开发者通过与生产代码进行对比验证运行器是否正常工作
  • 编码代理添加场景,使用第一个测试作为模板

我的理解是,批准场景模式适用于已经具备足够结构以生成有意义的首次测试的系统,这种方式类似于 Dan Terhorst-North 描述的“刺探与稳定”模式。另一种从零开始的方式可能是将第一个测试用于生成“行走骨架”(Walking Skeleton)。

受限测试模式的两个实例体现了Ördög提出的受限测试模式,即编码代理无法轻易通过编写弱于预期的测试来“作弊”。已批准的场景和日志通过在DSL语法中强制要求断言部分,使得作弊的可能性降低,这要求DSL必须通过解析器实现,即外部DSL。

Ördög认为,如果我们实现一个内部测试DSL(即在所使用的编程语言中定义的一组函数集合),代理可能会编写没有断言或仅有弱断言的测试,从而在测试覆盖率得分虚高时,实际测试并未按预期验证系统。而外部DSL中,断言是DSL语法中不可或缺且强制性的部分,这使得此类问题的可能性降低。

因此,受限测试模式的一个目的是确保测试覆盖率能可靠地反映代码哪些部分被测试,这也使得外部DSL带来的额外开销和间接性变得值得。

实现提示

不总是端到端

通常将客户测试实现为通过UI的端到端测试,这可以接受,但并非唯一方式。所有客户测试都采用端到端方式的一个问题是测试会变慢且更脆弱。避免这一问题的好方法是让大多数测试绕过UI执行。许多业务应用都有服务层,即一组被UI和其他系统入口点调用以执行业务操作的类或函数。测试可以直接调用服务层,完全绕过UI。这在许多领域是有意义的,例如金融领域,其中业务逻辑比UI更复杂且更难正确实现。我曾有过的经验是,在保险领域,我们曾被要求实现一套复杂的规则来匹配索赔与律师。编写客户测试帮助我们准确理解客户想要实现的目标,并将其作为服务层测试实现。

另一个问题是当测试的入口点与要验证的逻辑之间存在大量函数调用距离时。

在此示例中,我们希望测试组件“C”中的某些有趣逻辑,但为此,测试必须“说服”中间组件“A”以适当方式设置组件“B”,从而让组件“C”被正确设置。这可能很繁琐,让人感觉就像在瓶中造船,试图通过瓶口用棍子设置微小细节。

我们不必这样做;当我们需要对重要组件进行详细说明时,可以直接为其编写客户测试。记住客户测试最重要的作用是促进客户与开发人员之间的对齐。例如,这个用于检查用户IP地址是否匹配白名单的组件测试。由于白名单足够复杂,我们不认为仅通过端到端测试就能充分验证,因此编写了一个聚焦的客户测试,作为单元测试实现,并配有专属的自定义测试DSL。

code
tests:  
  - name: "is_ip_allowed 尊重启用标志"  
    allowlist:  
      - { id: 1, ip_or_cidr: "10.0.0.1/32", is_enabled: true }  
      - { id: 2, ip_or_cidr: "10.0.0.2/32", is_enabled: false }  
    is_ip_allowed:  
      - { ip: "10.0.0.1", expected: true }  
      - { ip: "10.0.0.2", expected: false }

  - name: "is_ip_allowed 在空白名单时默认拒绝"  
    allowlist: []  
    is_ip_allowed:  
      - { ip: "10.0.0.1", expected: false }

  # --- IPv4 匹配规则 ---  
  - name: "is_ip_allowed 匹配 /32 网段"  
    allowlist:  
      - { id: 1, ip_or_cidr: "192.168.1.100/32", is_enabled: true }  
    is_ip_allowed:  
      - { ip: "192.168.1.100", expected: true }  
      - { ip: "192.168.1.101", expected: false }  
      - { ip: "192.168.1.99",  expected: false }

如今,为每个重要测试用例编写测试 DSL 已经变得非常经济,因为 AI 可以低成本地构建测试运行器。

用户界面的客户测试

测试用户界面(UI)历来充满挑战,但同时 UI 通常包含我们希望测试的重要逻辑。这些挑战主要来自使用 Selenium 等工具的测试速度慢且不可靠。Playwright 等工具可以通过自动化等待组件渲染来减少测试的不可靠性。基于浏览器的组件测试最近在 Thoughtworks 技术雷达中被列为试用阶段(Trial)。

还有一些无需通过浏览器运行测试的方法;测试运行器可以使用 JSDOM 将 UI 组件挂载到模拟的 DOM 中,使测试能够以与人类用户相同的方式与 UI 交互。流行的前端框架通常使用 JSDOM 在进程中运行组件测试。

关于如何实现亚毫秒级端到端测试的更多建议,可参考 Aslak Hellesøy 的分享。

应对外部系统

业务应用经常依赖外部服务;一个电商平台可能需要与支付网关、邮件服务器、库存服务等进行交互。这使得测试变得更加复杂。如果我们尝试通过连接外部服务进行端到端测试,将会遇到许多问题。外部服务可能无法始终可用,可能运行缓慢且不可靠,可能没有我们可以使用的测试版本。即使存在外部服务的测试环境,也可能因为其他原因而不方便使用。

我曾参与过一个测试支付网关项目,使用测试信用卡时,我们需要定期联系该服务的维护人员,为测试信用卡充值数百万欧元的额度,因为即使我们的测试尽量减少消费,这些测试始终在运行,会定期将可用信用额度消耗殆尽。另一个例子是某个股票交易所 API 的测试版本,它遵循真实市场的开市和闭市时间,因此我们无法在非交易时间运行测试。或者它们可能设置了速率限制器。

很明显,智能编码(agentic coding)的成功标准之一是快速且可靠的反馈,因此能够本地运行测试(包括端到端测试)而无需连接外部服务非常重要。

我们可以在本地运行数据库和电子邮件服务器,但如何处理自定义的第三方服务呢?传统解决方案是使用 Wiremock 或 Mountebank 等工具,并通过特定指令模拟目标行为。这种方法虽然可行,但需要大量工作来定义外部系统在测试中的行为。一种新兴的解决方案是让编码代理生成外部服务的本地模拟器。如果外部服务提供了公开的 API,我们只需让编码代理实现该 API 即可。这种方法由 Justin McCarthy 推广,他将其称为数字孪生(Digital Twins)(也参见 McCarthy 的采访视频)。Clare Liguori 在视频演讲中也提到过这一方法,她称之为模拟服务(mock services),并讨论了团队如何通过编码代理实现生产力的提升。

在此背景下,通常需要同时运行两种测试:一种是作为进程内测试以获得快速反馈,另一种是作为进程外集成测试以使用更真实的依赖项。通过让 AI 为同一测试生成不同的测试运行器,"测试即数据"(Tests-as-data)方法使这一操作变得简单。Uberto Barbini 使用 "测试即代码"(tests-as-code)方法解释了类似技术,但这种方法的采用相对复杂一些。

关于如何对外部依赖项进行黑盒测试的讨论内容丰富且深入,本文只能简要提及。更多细节可参考 Martin Fowler 或 Ham Vocke 的文章。

保护测试框架

编码代理的一个问题是它们有时会"作弊";在急于完成任务时,可能会采取捷径,例如弱化或禁用测试。这就是为什么我们在引言中提到,开发人员可能会对测试提供的保护失去信心,因为测试可能因重构或新功能的实现而被修改,他们担心测试可能在此过程中意外被削弱。

本文描述的方法有助于解决这个问题,因为当测试的重要部分存储在文本文件中时,开发人员可以在不期望规格变更时保护这些文件不被修改,或者至少可以在源代码控制中检查这些文件是否被意外修改。这样,开发人员更难遗漏测试中的修改,如果发生此类修改,他们可以通过检查"测试即数据"内容来查看发生了什么变化,相比传统的"测试即代码"方式,这种检查过程可能更少疲劳。

当

预期生产代码变更?

预期测试数据变更?

预期测试运行器变更?

实现新功能

是

否

重构生产代码

提高测试覆盖率

改进测试 DSL

根据任务类型,可以通过将文件设置为代理无法绕过的只读模式,或在 CI 中运行检查以验证根据任务类型修改了哪些文件,来保护我们不希望 AI 修改的文件。编码框架的钩子功能可以在代理尝试修改不应修改的内容时快速提供反馈,但并非万无一失。

即使如此,AI仍可能给我们带来一些意外。测试运行器是代码,可能会被意外修改。DSL实现也存在因AI导致混淆的可能。为了进一步提高我们对测试仍能保护我们的信心,我们可以考虑其他技术,如下一节提到的方法。

验证测试

当AI编写部分或大部分测试时,我们仍然面临审查问题。上述技术通过提高测试的表达能力和简洁性,使测试审查更加高效。然而,测试数量仍然庞大,因此在测试审查过程中会产生认知疲劳,并面临认知妥协的风险。

我们来看两种应对策略:一种是寻找验证测试的方法;另一种是寻找验证产品本身的其他方式。

我们可以首先进行突变测试:我们在生产代码中注入有意的故障,观察是否有测试失败,并检查失败时的错误信息是否正确且具有信息性。进行突变测试的最简单方法是手动修改生产代码中的某些内容,例如将加号改为减号,或注释掉if语句的一个分支,然后查看是否有测试失败。之后,我们可以让AI自行执行部分突变测试。最后,我们可以采用突变测试库,将此过程自动化并集成到CI流水线中。

突变测试证明了测试在检测故障方面的有效性,但它无法防止测试本身指定不正确内容的风险。为了缓解这种风险,我们应该寻找验证测试本身的方法,即验证测试预期输出的正确性。Oracle是指能够判断任意输入对应正确输出的人或事物。有时唯一可用的Oracle是人:领域专家,但我们通常可以找到其他Oracle。一个例子是官方文档:官方规定、内部合规文件、技术手册、API文档。

例如,在开发COBOL解释器时,我提供了官方IBM手册的PDF和文本格式版本,使代理能够获得在IBM i机器上运行的COBOL方言的权威来源。

另一种Oracle类型是替代实现:有时可以使用简单、暴力算法来比较复杂、更高效算法的输出。我在上述提到的COBOL解释器开发中使用了Oracle技术,所有客户测试必须在真实IBM i系统上以与在我的笔记本电脑上相同的方式通过。我用它来验证由AI生成的客户测试是否指定了与IBM机器相同的行为。

这是将测试视为数据的另一个优势:你可以通过让AI编写另一个测试运行器,在多个环境中运行相同的测试。这在系统重构时特别有用,因为我们可以编写特征测试,同时在旧环境和新环境中运行。

超越基于示例的测试

适用范围的限制

本文中描述的技术适用于生产系统的测试。并非所有开发工作都需要或能从这种处理方式中受益:在开始新项目时,生成原型并探索可能性空间,观察编码代理的产出并提出修改要求可能是一个好方法。原型、概念验证和实验都可以快速生成,无需过多关注测试,因为在早期阶段,快速学习可能比安全地演化系统更重要。一旦我们对想要的内容有了更好的理解,我们可以选择丢弃原型并从头开始构建带有测试的系统,或者稳定原型并在事后添加测试覆盖率。

外部DSL所需的额外机制和间接性需要额外的工作,以确保DSL能够良好地表达我们想表达的内容,并且测试运行器、打印机和解析器是正确的。如果我们要审查这些测试(至少是其中的一部分),以确保它们表达了我们想要的内容,那么这些工作是有意义的。但有时,让模型以任何方式编写测试可能更有意义,因为它会更快且成本更低。这在我们有其他方法验证系统是否符合我们的需求时尤其适用。

这些技术所实现的大步跨越使得人类更难保持对系统工作原理的良好理解。对产品内部架构的理解仍然很重要,我们需要其他技术来获得并保持这种理解。

本文讨论的方法通常不足以确保系统正确性。如上所述,可以使用其他自动化测试技术。最重要的是,始终建议进行人工探索性测试。

结论

我们从这样一个问题开始:许多给予AI高度自主权的开发人员不认为他们获得的测试覆盖率是可信的,主要是因为AI生成的测试难以阅读,并且在生产代码更改时(即使是重构)也倾向于发生变化。

我们提出了一种解决方案,包括:

  • 以客户语言(如今包括开发人员)进行的客户测试
  • 系统或组件级别的黑盒测试
  • 在适用场景中使用表格参数化测试,
  • 当表格无法使用时,采用临时测试DSL
  • 将测试数据(表格或场景)转移到易于与测试代码区分的文本文件中
  • 由AI生成的测试运行器运行测试数据文件

这有助于解决测试可信度问题,因为测试变得更加表达性强,去除了无关细节,对重构具有鲁棒性,并且更容易防止编码代理带来意外变更。它还能帮助编写更依赖于Markdown文本以外内容的规范,从而确保我们期望的行为被正确实现。

这些技术有助于明确系统的功能规范;它们是工程工具链的一部分,应与其他互补技术结合使用,包括:突变测试、基于属性的测试、代码检查工具和人工探索性测试。

现在这变得尤为重要,因为似乎未来大多数代码将由机器编写,这包括测试代码。我们需要以一种帮助人们保持控制的方式设计这些测试。

我们可以通过用客户语言编写测试,并按照上述针对受限测试的流程来应用这些思路,从而开始实践这些理念。

声明

本文仅代表一位实践者的观点,不一定反映我雇主的观点。我无法站在你的位置,你的经验和处境将有所不同:请从本文中选取对你有用的内容,并关注实际发生的情况以及你的系统试图传达的信息。

致谢

Ben O'Mahony、Birgitta Böckeler、David Farley、David Lucas、Gabriele Lana、Ivett Ördög、James Shore、Joshua Kerievsky、Martin Fowler、Max Kanat-Alexander、Paolo Perrotta、Premanand Chandrasekaran、Valentina Servile 和 Wei Zhang 对本文的初稿提出了宝贵意见。

在撰写本文过程中,我使用AI进行了头脑风暴、研究、批评和校对。所有文字内容均为本人原创。

重大修订

2026年11月11日:发布