The AI cost of JavaScript frameworks
TL;DR · AI 摘要
The AI cost of JavaScript frameworks Read the Tea Leaves 28 Oct The AI cost of JavaScript frameworks Posted October 28,...
核心要点
- 主题聚焦:The AI cost of JavaScript frameworks
- 来源:Hacker News Best,建议结合原文判断细节。
- AI 分析暂不可用,本条为保底评分与摘要。
JavaScript 框架的 AI 成本 | Read the Tea Leaves
2026 年 10 月 28 日
JavaScript 框架的 AI 成本
由 Nolan Lawson 于 2026 年 10 月 28 日发布在 Web 和 AI 领域
我对于网络开发社区的一个烦人之处在于,我们做出的很多决定都基于直觉。框架被宣传为“极速高效”,工具会“极大提升”开发效率,正确的抽象层能同时惠及开发者和用户(DX 和 UX 完美结合!)。所有这些夸张的宣传通常都缺乏任何证据。Alex Russell 将这种现象称为“前端失落的十年”,Baldur Bjarnason 则称编程已成为一种流行文化,而我则试图在我的博客中用事实和基准测试来反驳这种趋势(至少在我能力范围内)。
长期以来,我们社区对证据的过敏似乎源于对 DX 的追求。换句话说,开发者只是喜欢在 React 中输入 JSX 时的感觉,而推广 React 或相关工具的论点(“虚拟 DOM 很快!”)大多是事后合理化的解释,用来证明最初的直觉。(Jonathan Haidt 很可能同意这种评估。)
但在代理时代,当开发者不再手动编写代码,因此不再受 DX 的限制时,我仍然看到直觉在主导(不仅仅是“直觉编程”的意义上)。前端被重写,因为某个框架“更适合代理”。(有人想过要问一下代理吗?)生成的代码“更快”,代理“犯的错误更少”等等。这些说法再次常常缺乏证据。每当我读到这些描述时,我都会想:“基准测试在哪里?”
于是我产生了好奇心,于是编写了一个基准测试。这个基准测试的结构相当直接:
- 使用 PokéAPI 设计一个小型但非平凡的 Pokémon 应用(那些关注我工作的人不会感到意外)
- 指示代理使用特定的 JavaScript 框架/元框架(如 Next.js、Nuxt、SvelteKit 等)构建该应用
- 通过规范符合性套件测试输出结果(以防止代理作弊)
- 从开发时间、消耗的 token 数量、代码行数以及 Lighthouse 的性能和可访问性评分等方面评估结果
这个应用相当简单:你有一个 Pokémon 列表,包含它们的类型、招式和来自不同游戏的数据。你可以搜索、筛选等:
我需要先说明一些注意事项:这个实验并不完美。这个应用仅代表一个单一的模式——它是一个相对以内容为主的网站,互动性较少,更接近维基百科而不是 Figma、Gmail 等。尽管如此,我必须选择某个应用来构建,而这个应用至少在高层次上易于理解,且相对容易制定规范和测试。
为了尽量公平,我让每个框架/元框架使用该工具的官方 MCP 或技能。我想避免“这个框架在训练数据中没有得到充分体现,所以我们构建了我们的 MCP,我们期望人们使用它”等指责。我也没有对使用的确切架构进行过度指定(例如 SSR 与 CSR),也没有指定应用应该尽可能高效。我只是将规范交给 Opus 5.5 并要求其以高努力程度使用给定框架的最新版本。每个代理都在沙盒中运行,且不知道它将在 Lighthouse 上接受性能和可访问性测试,尽管它被提供了符合性测试套件。
Note I also didn’t mandate any CSS methodology, except to avoid using Tailwind, Bootstrap, or any other component framework, and to design based on a set of spec tokens to enforce some visual consistency. I didn’t want to make this test all about CSS, but instead about JS frameworks, CSR vs SSR, SPAs vs MPAs , etc. The resulting app is tested against a conformance suite based on the accessibility tree rather than the raw DOM to avoid mandating any particular HTML structure – one framework uses web components which rely on shadow DOM, so this was required.
从这次实验中我学到的一点是,我所测量的一切都具有高度随机性。LLMs本质上是随机词生成器,因此有时会出现低概率事件,导致代理产生奇怪的偏离主题的输出,浪费大量token,但这并非框架或其工具的过错。Lighthouse本身也可能产生不一致的结果:Largest Contentful Paint(LCP)可能在一次运行中判定某张图像是“最大”元素,而在下一次运行中却选择另一张图像。要设计一个完全公平的实验非常困难,但进行多次迭代确实有所帮助,我也尽量诚实地说明了这些差异。
With all that throat-clearing out of the way, let’s get to the results.
Results
我将从多个维度来分析结果:开发成本、质量以及可维护性。对于每个框架/元框架,我取了5次运行的中位数:换句话说,我用相同框架构建了5次相同的应用程序。(是的,这正是当今使用编码代理可以完成的疯狂事情之一。)
例外情况是Angular,它在两次尝试中未能创建可用的应用程序,因此我只进行了3次迭代。(原因将在下文解释。)
Cost
每次运行的成本(美元)
| 框架 | 成本(美元) | 区间 | 变化范围 | |------------------|--------------|--------------|----------------| | Hono+htmx | $2.67 | (2.23–3.19) | −0.44 to +0.52 | | Astro | $2.76 | (2.16–3.63) | −0.60 to +0.87 | | Nuxt | $2.82 | (2.39–4.25) | −0.43 to +1.43 | | Vanilla | $2.98 | (2.24–3.37) | −0.74 to +0.39 | | Next.js | $3.14 | (2.58–4.13) | −0.56 to +0.99 | | Qwik | $3.27 | (2.35–3.80) | −0.92 to +0.53 | | TanStack Start | $3.54 | (3.11–3.96) | +0.42 | | SolidStart | $3.79 | (2.84–4.81) | −0.95 to +1.02 | | React Router | $3.81 | (2.82–3.97) | −0.99 to +0.16 | | SvelteKit | $4.28 | (3.59–4.65) | −0.69 to +0.37 | | Gracile+Lit | $4.65 | (3.92–5.07) | −0.73 | | Angular | $4.97 | (3.19–6.82) | −1.78 to +1.85 |
0
2
4
6
8
3-5次运行的中位数。
排序方式:
原始顺序
框架名称(A–Z)
成本(由低到高)
成本(由高到低)
以表格形式显示
请注意,这些价格直接引用自Claude Code的API报价,并不代表我实际支出的金额。我使用的是Max计划,因此这仅仅是每月100美元预算中的一部分。
同时请注意成本的波动性:React Router的中位数成本比Hono+htmx高约1美元,但React Router最便宜的版本(2.82美元)仍比Hono+htmx最贵的版本(3.19美元)便宜。不过,一些可靠的趋势确实显现出来。
最明显的是,SvelteKit、Gracile+Lit和Angular的构建成本高于其他框架。对于SvelteKit来说,这可能是因为代理在每次运行中都阅读了SvelteKit v3迁移指南,这可能是因为该指南太新,未包含在Opus 5.5的训练数据中。同样,对于Gracile,代理对框架了解不深,要么克隆了Gracile仓库,要么从node_modules中读取了其编译后的源代码。对于Angular来说,这似乎与总代码量有关(见下文)。
我也需要指出,并非每个代理都使用了MCP/技能/Claude Code插件,也并非每个框架都提供了这样的插件:
点击查看AI工具使用情况
已安装
代理使用情况?
Angular MCP
和
Angular 代理技能
MCP 在 3/5 次运行中使用,技能工具在 4/5 次运行中使用,技能文件在 2/5 次运行中使用
Astro MCP 服务器
MCP 在 2/5 次运行中使用
不适用
Hono 技能
技能工具在 5/5 次运行中使用
next-devtools-mcp 和 next-dev-loop 技能
技能文件在 1/5 次运行中使用,
AGENTS.md在 2/5 次运行中使用
Nuxt MCP
React Router 技能
技能工具在 5/5 次运行中使用,技能文件在 5/5 次运行中使用
Svelte Claude Code 插件
MCP 在 5/5 次运行中使用
技能文件在 2/5 次运行中使用
例如,TanStack Start 的代理仅在 2/5 次运行中发现了其技能文件(它们被打包在项目 node_modules 中)。对于 Nuxt,代理从未使用过 MCP。对于 Next.js,代理仅在 1/5 次运行中读取了技能文件,在 2/5 次运行中读取了 AGENTS.md。这显示了结果的广泛差异,这反映了 LLM 的随机性本质。尽管如此,我认为这仍然是一个有效的实验,因为我怀疑很少有开发者会用全大写命令让代理使用 MCP(而且很多人可能完全跳过了它)。
此外,如果你好奇我是如何想到 Hono+htmx 的:基本上,我想以某种方式体现 htmx,而 Hono 看起来像是一个合适的搭配(即作为 JavaScript 的 Rails/Django 等替代方案)。至于 Gracile+Lit,我想通过其标准框架(Lit)来体现 Web Components,并且我只知道 Gracile 是一个元框架。如果有更好的候选者,那将非常适合后续实验。
关于“Vanilla”,请注意代理被指示使用“纯 JavaScript 或 TypeScript 与 Vite,不使用 UI 框架”。令人惊讶的是,这在性能上不如几个框架,这似乎表明使用某些框架可能比什么也不用更好(或者至少比纯 Vite 更好)。选择 Vite 是因为它支撑了许多框架,并代表了相当标准且无偏见的 JavaScript 基础设施。
总时间和 token 数与成本密切相关:
每次运行的时间
时间(分钟)
8.2
分钟
(6.2–9.7)
−2.0
+1.5
8.6
(5.9–9.6)
−2.7
+1.0
9.0
(8.0–17.6)
−1.0
+8.6
10.1
(6.9–18.6)
−3.2
+8.5
10.3
(8.3–13.9)
+3.6
10.7
(7.1–12.9)
−3.6
+2.2
10.8
(8.6–13.8)
−2.2
+3.0
10.9
(8.3–11.9)
−2.6
11.2
(8.2–15.9)
−3.0
+4.7
12.1
(10.8–12.9)
−1.3
+0.8
12.5
(8.4–13.6)
−4.1
+1.1
17.2
(9.8–23.7)
−7.4
+6.5
5
10
15
20
25
从代理视角看的墙钟时间。3-5 次运行的中位数。
时间(分钟),由低到高
时间(分钟),由高到低
每次运行的 token 数(百万)
Token(M)
3.85
M
(3.16–8.18)
+4.33
4.13
(3.03–7.57)
−1.10
+3.44
4.26
(3.40–5.61)
−0.86
+1.35
4.99
(3.54–8.82)
−1.45
+3.83
5.00
(3.44–6.32)
−1.56
+1.32
5.64
(3.41–7.03)
−2.23
+1.39
7.07
(5.85–7.99)
−1.22
+0.92
7.13
(5.02–10.07)
−2.11
+2.94
7.58
(4.55–8.18)
−3.03
+0.60
8.53
(6.79–9.29)
−1.74
+0.76
9.04
(7.36–11.10)
−1.68
+2.06
9.76
(4.92–14.94)
−4.84
+5.18
缓存读取,未缓存的输入和输出。3-5 次运行的中位数。
Token(M),由低到高
Token(M),由高到低
顺便说一下,token 数是由 Claude Code 报告的。持续时间只是总墙钟时间。
质量
当然,因为我认为结果很重要,我也用 Lighthouse 测试了代理。作为软件开发者,我认为我们不仅要廉价地构建东西,还要确保其性能和可访问性。
我首先需要指出我的基准测试有两个注意事项:
- Pokémon 应用程序很小,不能代表大型复杂的真实世界应用程序。
- Lighthouse 和 Core Web Vitals 整体上对单页应用(SPA)存在偏见,因此多页应用(MPA)框架在总阻塞时间(TBT)、JavaScript 字节等指标上几乎可以确保取得优势。我曾考虑添加一些应用内性能指标,但最终放弃了这个想法,因为这会增加基准测试的复杂性和变数,而这些指标是我自行定义的,而非行业标准。
出于简化考虑,我只报告首页的评分。虽然还有其他页面,但它们的评分都大致相近,或者在最大内容绘制(LCP)等指标上出现剧烈波动,包含它们只会让结果更复杂。
简而言之:性能、可访问性和累计布局偏移(CLS)的 Lighthouse 评分几乎达到饱和状态,不同框架之间的差异非常小:
CLS
性能
可访问性
0.000
98
100
99
0.111
97
接下来,为了获得更有意义的数字,我们需要关注其他指标。最可靠的指标是传输的 JavaScript 字节数,它主要反映客户端框架的大小:
传输的 JavaScript 字节数
JS(KiB)
KiB
(0–1)
−0
+1
7
(6–7)
−1
+0
(1–13)
−7
+5
18
(18–18)
36
(35–36)
40
(38–40)
−2
(40–41)
84
(83–85)
93
(81–102)
−12
+9
115
(115–119)
+4
118
(112–119)
−6
142
(136–143)
50
150
如 Lighthouse 所报告。3-5 个应用的中位数。
JS(KiB),从低到高
JS(KiB),从高到低
总阻塞时间(TBT)的有趣之处在于它不仅仅取决于 JavaScript 字节数;某些应用在主线程上花费的时间比其他应用更多。尽管如此,这些数值都相当小:
总阻塞时间(TBT)
TBT(毫秒)
毫秒
(0–0)
1
(0–36)
+35
3
(0–30)
−3
+27
11
(0–12)
−11
17
(0–52)
−17
(14–54)
−26
+14
71
(66–121)
−5
+50
103
(93–123)
−10
+20
75
125
如 Lighthouse 所报告,模拟移动设备限速。每个应用进行 5 次 Lighthouse 测试,取中位数,然后对 3-5 个应用再取中位数。
TBT(毫秒),从低到高
TBT(毫秒),从高到低
最大内容绘制(LCP)由于指标本身的缺陷而高度可变。如预期的那样,它确实对单页应用(SPA)施加了惩罚,对多页应用(MPA)给予了奖励:
最大内容绘制(LCP)
LCP(毫秒)
810
(792–1662)
−18
+852
956
(796–980)
−160
+24
978
(977–1662)
+684
979
(954–1278)
−25
+299
1130
(1129–1131)
1204
(1203–1278)
+74
1667
(764–1676)
−903
1727
(1427–1844)
−300
+117
1729
(1729–1770)
+41
1954
(1351–1955)
−603
2028
(1805–2104)
−223
+76
2090
(1028–2187)
−1062
+97
500
1000
1500
2000
2500
LCP(毫秒),从低到高
LCP(毫秒),从高到低
需要注意的是,Next.js 数据的剧烈波动可以解释为:其中一个应用避免了图片的延迟加载,而其他四个应用没有这样做。Astro 和 Vanilla 的波动幅度类似,似乎是由优先级设置或 LCP 指标本身的特性导致的。
总体而言,该指标倾向于奖励快速通过 HTML 渲染的多页应用(MPA),而非需要运行客户端 JavaScript(可能还涉及多次限速往返获取 Pokémon 数据)的单页应用(SPA),这一点并不令人意外。忽略数据波动,此处的 LCP 主要取决于 JavaScript 包的大小。(Qwik 是一个明显的例外:从技术上讲,它是一个使用客户端路由的单页应用,但其评分却与多页应用框架相当。)
Note though that some of the frameworks varied in whether they focused more on the client or the server, or even whether they used a client-side framework. For example, the Gracile agent didn’t even use Lit in two runs . For “Vanilla,” the agent had full latitude (aside from being told to use Vite), but still chose to build an SPA all 5 times.
SSR vs CSR is also partly where the trouble with Angular came from: in 2 runs, the agent built an SSR app that rejected non-localhost (even though the instructions explicitly said that the app would be behind a reverse proxy). I considered this a valid failure to adhere to the spec and decided not to re-run the 2 failed iterations.
可维护性
衡量可维护性的方式有很多(包括像循环复杂度这样的高级指标),但为了简化,我决定采用一个经过验证的方法:总代码行数。
代码行数
1370
(1264–1489)
−106
+119
1415
(1382–1458)
−33
+43
1461
(1379–1503)
−82
+42
1492
(1437–1742)
−55
+250
1539
(1452–1627)
−87
+88
1564
(1421–1621)
−143
+57
1611
(1503–1816)
−108
+205
1630
(1528–1894)
−102
+264
1697
(1506–1771)
−191
1717
(1412–1748)
−305
+31
1744
(1646–1827)
−98
+83
2009
(2003–2051)
非空白源文件行数。3-5个应用的中位数。
代码行数,由低到高
代码行数,由高到低
对我来说,这是一张非常有趣的图表。从某种意义上说,框架的全部意义就是减少你需要维护的代码量。用Rich Harris令人难忘的话来说:
“框架不是用来组织代码的工具;它们是用来组织思维的工具。” – Rich Harris, “Rethinking reactivity”
在智能体时代,这一点显得更加重要,因为代码大小最终会影响令牌数量(包括未来编辑时的令牌数量),这意味着它会影响维护代码库的实际成本。这并不是说简洁性是唯一重要的价值,但看到Hono+htmx仅用约70%的代码就能实现与Angular类似的功能(而且速度更快),确实非常有趣。
结论
改进这个基准测试的方法有很多。例如,你可以强制要求代理使用服务工作者进行离线缓存,或者优化宝可梦图片文件,或者使用延迟加载、fetchpriority、推测规则API等。尽管我知道很多这些性能优化技巧,但我故意没有引导代理使用它们,因为这不是典型“氛围编码者”会做的事。
另一方面,通过预先生成所有HTML文件作为静态资源(毕竟宝可梦种类有限),就可以轻松作弊通过这个基准测试。我在说明中明确禁止了这种做法,并在测试框架中加入了显式检查,因为我认为这不符合基准测试的精神。(我的目标是模拟大量可能动态变化的数据,这比纯粹的静态网站更具挑战性。)
你还可以通过运行更多迭代、使用不同的编码代理、尝试不同的努力级别、使用不同的框架或框架的不同版本、测试有无MCPs/skills、在更多浏览器中进行测试、构建不同类型的应用等方式改进基准测试的运行方式。由于时间原因,我大多没有进行这些操作。不过,如果有人想亲自运行基准测试或分叉该项目,它已经在GitHub上公开,我鼓励大家尽情发挥。我很乐意在这里报告你们的结果(包括你们可能发现的任何错误或缺陷)。
我的目标并不是要写出一个终极的基准测试来回答“我是凭感觉编码的开发者,应该选择哪个框架?”这个问题。本文的目的是证明在AI编码时代,我们仍然可以基于证据而非直觉做出决策。这个基准测试本身在很大程度上是凭感觉编写的,尽管我确实审查了代码,所以如果存在错误,请将它们归咎于我。我也非常乐意看到竞争框架尝试改进我在这里所做的工作。
我也不想贬低任何特定框架。在运行基准测试之前,我不知道哪个框架会“获胜”,尽管我确实怀疑MPA的表现会优于SPA(这一点我在整篇文章中都坦率承认过)。你当然可以编写一个更偏向SPA的基准测试,例如将应用设计为复杂的仪表板、视频游戏或生产力工具等。你也可以选择不同的指标:Lighthouse和Core Web Vitals对SPA的要求非常严格,因此你可以改用应用内交互性作为衡量标准。
我也确信框架作者本身可以改进他们的框架或AI工具,从而在该基准测试中表现得更好。例如,我强烈怀疑当前的MCPs和skills可能弊大于利。因此,如果本文是关于这些框架性能的最后结论,我会感到非常失望。我相信还有许多新兴框架正迫不及待地希望在这样的基准测试中表现出色。
至少,我希望本文能激励你在这种奇怪的新时代对选择JavaScript框架的过程进行更严格的审视。你真的是基于证据来选择技术栈吗?还是只是依赖你已有的知识?这当然可以理解,尤其是如果你仍然在亲自阅读、审查和调试代码的话。但如果你已经基本放手让AI处理,那么你对当初逐行编写代码时所做选择的执着又何在?如果你正在重新评估构建软件的整个方式,也许也值得重新思考在运行npm install之后你所输入的内容。只是随便说说。
我个人对上述评估的框架没有特别的偏好,除了我相信我们应该努力为用户打造最佳的体验。我知道并尊重上述框架的许多作者,我也知道他们正在不遗余力地追求与我倡导相同的价值观。我的愿望只是推动整个社区向更好的方向发展,朝着更高效、更易用的框架迈进,以支撑下一代Web应用的构建。
附录
测试中使用的框架版本(注意Qwik在测试过程中发布了一个补丁版本):
版本
@angular/core 22.2.3
astro 7.4.2
@gracile/gracile 0.11.0, lit 3.3.3
hono 4.13.14, htmx.org 2.0.11
next 16.4.3, react 19.3.1
nuxt 4.6.2, vue 3.5.44
@builder.io/qwik-city 1.20.2(迭代 1),1.20.3(迭代 2、3、4、5),@builder.io/qwik 1.20.2(迭代 1),1.20.3(迭代 2、3、4、5)
react-router 8.5.0,react 19.3.1
@solidjs/start 2.1.0,solid-js 1.9.17
@sveltejs/kit 3.1.0,svelte 5.57.2
@tanstack/react-start 1.169.4,react 19.3.1
vite 8.3.5
您可以在 Fediverse 上发表评论。