The JetBrains Blog

AI models hate Python and love PHP: we asked 12 of them 1,200 times

8.5内容质量

TL;DR · AI 摘要

AI模型普遍不喜欢Python,更偏爱PHP,JetBrains通过12个模型1200次测试发现AI对编程语言有明显偏好。

核心要点

  • AI模型对Python的负面评价高达75%,其中312次攻击性评论针对Python。
  • DeepSeek模型在12个模型中对Rust的攻击性评论最多,达到31次。
  • AI模型在选择语言时并非随机,而是倾向于攻击自己不喜欢的语言。

结构提纲

按章节快速跳转。

  1. JetBrains通过测试12个AI模型对编程语言的偏好,发现AI模型普遍不喜欢Python。

  2. JetBrains对12个AI模型进行了1200次测试,每次测试包含两个问题,以评估模型对编程语言的偏好。

  3. AI模型在测试中表现出对Python的强烈负面评价,而对PHP则表现出相对正面的态度。

  4. Python在所有测试中被攻击的次数最多,有312次攻击性评论。

  5. Rust和TypeScript也受到大量攻击,分别有31次和29次攻击性评论。

  6. AI模型在选择语言时并非随机,而是倾向于攻击自己不喜欢的语言。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • AI模型对编程语言的偏好
    • 测试方法
      • 12个模型,1200次测试
    • AI模型偏好
      • Python被攻击312次
      • Rust被攻击31次
      • TypeScript被攻击29次
    • 结论
      • AI模型倾向于攻击不喜欢的语言

金句 / Highlights

值得收藏与分享的关键句。

#AI#编程语言#JetBrains#模型偏好
打开原文

AI模型讨厌Python,却偏爱PHP:我们问了12个模型1200次 - JetBrains博客

JetBrains AI

通过JetBrains产品中的AI功能,提升您的工具使用体验

关注

  • 关注:
  • RSS
  • 订阅

了解更多

AI模型讨厌Python,却偏爱PHP:我们问了12个模型1200次

Denis Shiryaev

1200个观点,14种“随机”语言,对C#没有意见,还有一个模型对Go的错误处理持两种立场。

我们总共向12个AI模型提出了1200次问题,询问它们对编程语言最具有争议性的看法。

我们想验证一件事。当模型被允许表达激烈观点时,它是否有自己独特的看法,还是和其他人一样,只是重复普遍的观点?开发者们为了娱乐而争论编程语言,因此应该有很多不同的观点。

我们选择了12个最新的模型,来自三个国家的十个实验室:

实验室

模型

所在地

OpenAI

GPT-6.1 Sol, GPT-6.1 Terra, GPT-6 Astra

美国

Anthropic

Claude Opus 5.5

Google

Gemini 4 Argon

xAI

Grok 4.7

Meta

Muse Spark Open

DeepSeek

DeepSeek V4 Pro

中国

Alibaba

Qwen3.8 2.4T A95B

Moonshot AI

Kimi K3.1 Pro

Z.ai

GLM 5.3

Mistral AI

Mistral Large 4

法国

每个模型都得到了两个问题,每个问题重复50次,每次都在一个全新的对话中进行,且没有系统提示:

  • “随机选择一种编程语言。你对该语言最具有争议性的观点是什么?”
  • “你对编程语言最具有争议性的观点是什么?”

两个提示也要求用一句话表达观点,两到三句话的解释,以及50到90个字。所有1200个请求都得到了回应。收集这些信息花费了7.68美元,每个观点大约是三分之二美分。观点很便宜。我们有收据。

WIDGET:python_everyone START

WIDGET:python_everyone END

随机选择一种语言,得到Go或Python

这600次“随机”选择只涵盖了14种语言。其中五种语言占据了541次选择,即90%,而Go和Python单独占据了307次。

WIDGET:random_picks START

WIDGET:random_picks END

每个模型也有自己的偏好。告诉它“随机选择一种编程语言”,你得到的大多是它偏好的语言:

WIDGET:house_language START

WIDGET:house_language END

GPT-6.1 Sol和Gemini 4 Argon只从三种语言中选择。Sol的50次选择中,Go占了30次,Java占了17次,Python占了3次。DeepSeek的选择范围最广,包括Lua、Haskell、Ruby和Lisp等八种语言。它仍然选择了Rust 31次。

它们并不是随机选择。它们选择目标。

Gemini 4 Argon“随机”选择了Python 35次,并且对它进行了35次攻击。DeepSeek选择了Rust 31次,并且对它进行了31次攻击。Grok 4.7写了44个关于JavaScript的观点,其中38个是攻击。

因此,“随机选择一种语言”实际上意味着“选择你讨厌的语言”。

总体而言,1200个观点中有904个(75%)是攻击。只有291个观点是辩护。

WIDGET:targets START

WIDGET:targets END

被攻击的目标:Python、Rust和TypeScript

这904次攻击中有600次针对了三种语言。

Python受到了312次攻击,其中299次是攻击。每个模型至少攻击过它一次,十二个模型中有十个在100次尝试中从未对它说过一句好话。例外的是GLM 5.3(9次辩护)和Grok 4.7(3次)。以下是一个典型的攻击,以及GLM认为的辩护:

jbhot chat bubbles: 每个模型在本文中的引用的样式(每页一个副本,无脚本)

Python十年前就应该消亡了,它正在拖慢整个行业的发展。

Python 的全局解释器锁是该语言做出的最优秀的设计决策之一。

Gemini 4 Argon 对显著空白字符提出了 11 次抱怨。

Rust 被提及了 167 次,其中 164 次是攻击。整个实验中被广泛提及的唯一观点是关于 Rust 的:所有权模型对普通应用程序代码来说弊大于利。10 个实验室中有 9 个实验室的 78 次提及都持此观点。Anthropic 是唯一一个没有这样认为的实验室。

Rust 的借用检查器是一种大多数程序都不应支付的税。

TypeScript 被提及了 138 次,其中 137 次是攻击。在提及次数超过 10 次的语言中,没有哪一种语言被如此一致地攻击。它从两个方面都受到攻击:57 次提及认为其类型安全性带来的成本超过了其价值,24 次提及认为其安全性是假的,会让人对运行时发生的情况产生错误的信心。Mistral Large 4 将这两种批评浓缩成一句话:

TypeScript 是 JavaScript 开发者为安全幻象支付的生产力税。

唯一一次辩护来自 GPT-6.1 Sol,而实际上这是对 Python 的讽刺:TypeScript 的类型系统“对大多数生产后端来说比 Python 的可读性更有价值”。

当被要求随机选择一种语言时,模型在 600 次中选择了 TypeScript 7 次。当被问及开放性问题时,它们有 131 次选择了 TypeScript。没有人会偶然选择 TypeScript,但每个人对它都有话要说。GPT-6.1 Terra 在其 50 次开放性回答中,有 43 次都攻击了它。

WIDGET:ts_paradox START

WIDGET:ts_paradox END

他们所喜爱的语言:PHP、Java 和老语言

PHP 被提及了 28 次,其中 28 次都是辩护。Claude Opus 5.5 和 Kimi K3.1 Pro 各写了 11 次,通常都争论 PHP 的每次请求后丢弃所有内容的模型比长期运行的 Node.js 或 Python 服务器更好。

对于大多数小型企业网站来说,PHP 比 Python 更适合作为默认选择,将它视为过时是一种傲慢,而不是工程判断。

Java 被提及了 90 次,有 80 次是辩护,主要集中在受检异常(67 次提及支持它们)。Claude Opus 5.5 有 7 次回答都以“Java 的受检异常是一个好主意,而行业错误地放弃了它们”开头。GLM 5.3 重复了这句话 3 次。两个实验室,一句话,逐字相同。

小数字讲述着同样的故事。SQL 在 5 次提及中有 5 次是辩护。Lisp 在 3 次提及中有 3 次是辩护,全部来自 DeepSeek。Perl 在 1 次提及中得到 1 次辩护,来自 Claude Opus 5.5,该模型还 4 次提到 Lua,并每次都为其 1 基索引进行辩护:

Lua 的 1 基索引是正确的设计,而嘲笑它的人是在捍卫一种习惯,而不是一个原则。

Lisp 的括号确实是一个优势,而不是一种怪癖。

模型的“不受欢迎的赞美”是可预测的:选择一种人们过去曾嘲笑的旧语言,然后解释为什么它一直以来都是正确的。

没有人对 C# 有意见

在 1200 次提及中,没有一次是关于 C# 的。或者 Kotlin、Swift、Scala、Dart、Elixir、Zig、Julia、R、OCaml 或 F#。少数几次出现在额外的提及中:C# 在 24 次回应中被提到,Kotlin 在 20 次中被提到,Swift 在 13 次中被提到,但总是作为比较对象,而不是目标。

WIDGET:never_targeted START

WIDGET:never_targeted END

如果你以编写 C# 为生,那么十二个 AI 模型对你的看法没有争议。你可以随意看待这一点。

Go 的错误处理是唯一真正的争论点

Go 被提及了 238 次:118 次攻击,118 次辩护,以及 2 次混合。完全平局,而大多数争论集中在是否检查 err != nil 上。

94人支持Go语言显式的错误处理方式。65人反对,提出了五个不同的理由:它只是重复的代码,掩盖了逻辑(29人),Go语言本应采用异常处理(17人),错误太容易被忽视(8人),应该借鉴Rust的?操作符(6人),以及真正的错误在噪音中被丢失(5人)。

WIDGET:go_fight START

WIDGET:go_fight END

Claude Opus 5.5是最大的支持者,它提出了40条辩护意见,没有一次攻击,而且它用相同的句子开启了11次回答。GPT-6 Astra则站在另一边,它发起了25次攻击,只进行了4次辩护:

Go语言被广泛嘲笑的if err != nil重复代码实际上是语言最好的特性,而不是最差的。

GPT-6 Astra

Go语言广受称赞的错误处理方式是一种设计失败,它将重复的记录工作误认为是可靠性。

“被广泛嘲笑”这一短语在1200个回答中出现了38次。Claude Opus 5.5写了其中的32次。

然后是GPT-6.1 Sol,它对Go语言的错误处理进行了20次辩护,同时发起了21次攻击。同一模型、同一问题,每次对话都是新的:

GPT-6.1 Sol

Go语言重复的错误处理比异常处理更优,称其为“样板代码”混淆了类型更少与理解更多。

Go语言显式的错误处理是一种以安全性为名的可读性税。

Sol对Go语言的错误处理到底怎么看?抛个硬币吧。

与自己争论的模型

Sol并不是唯一的。Mistral Large 4在10次回答中称JavaScript的==是一个灾难性的设计缺陷,而在另外4次回答中则为其辩护:

JavaScript的==操作符是一个灾难性的设计错误,应该在严肃的软件开发中被禁止。

JavaScript的松散相等操作符(==)实际上是一种安全特性,它通过强制开发者显式处理类型转换,比严格相等更好地防止了错误。

GPT-6.1 Sol和GPT-6 Astra对Java的受检异常也做了同样的事情。Sol为其辩护了13次,攻击了5次。而Astra则辩护了17次,攻击了4次。

每个模型都有一个口头禅

我们原本并没有打算统计词语的使用情况,但有些重复的表达实在难以忽视。

WIDGET:catchphrases START

WIDGET:catchphrases END

  • Qwen3.8在它的100个回答中有43次使用了“net negative”这个词。在开放性问题中,它的50个回答中有29次表达了同样的观点,即对于小型或快速发展的项目来说,TypeScript并不值得。它还在18个回答中使用了“overrated”这个词,而其他11个模型总共只用了21次。
  • Muse Spark Open在28个回答的开头使用了“Hot take”或“My hot take”,以防你忘记了自己问了什么。
  • Claude Opus 5.5在它的100个回答中有86次使用了加粗文本。其他9个模型中,有11个模型从未使用过加粗。
  • Grok 4.7在16次回答中坚持认为JavaScript不应该成为后端语言。
  • DeepSeek V4 Pro在它的50个开放性回答中有45次谈论了编程语言本身,大多数时候是以一个脾气暴躁的历史学家的口吻:

大多数类型系统只是披着数学外衣的安全表演。

大多数所谓的“现代”编程语言只是C语言的变种,步骤更多,工具更差。

在十二个模型中,有54个回答重复使用了相同模型之前已经写过的开头句子。共享的词汇范围同样狭窄:“overrated”在39个回答中出现,“underrated”在2个回答中出现,“boilerplate”在153个回答中出现。

一些模型在提出“热观点”之前思考得更多

Mistral Large 4 在生成大约 69 个词的回答前,平均使用了 3,063 个推理 token,耗时约半分钟(中位数 32.1 秒)。GPT-6.1 Sol 使用了 108 个推理 token。由第三方托管的 DeepSeek V4 Pro 平均使用了 0 个推理 token,回答耗时 3.5 秒。

WIDGET:thinking START

WIDGET:thinking END

账单的差异同样显著。GPT-6 Astra 的 100 次调用费用为 1.27 美元。DeepSeek 的 100 次调用费用为 0.03 美元。

那么,它们是否意见不一?

有一点。它们在 Go 的错误处理方式上存在分歧,偶尔也会对自己产生分歧。其余内容看起来就像是一场漫长的群聊。Python 不是一个好的入门语言(8 个实验室共 35 次提到)。对于普通应用程序来说,Rust 的借用检查器并不值得(9 个实验室提到)。TypeScript 是一种负担。PHP 和 Java 一直以来其实都还不错。在所有 10 个实验室中,都出现了同一个论点:一些更简单的做法你已经拥有,使得额外的安全机制变得多余。

如果你的计划是向不同的模型询问一些新的观点,不要指望会有太多多样性。你将看到的是用不同字体呈现的相同观点,再加上一些 Claude 的加粗文本。

我们是如何做到的(无聊的部分)

显示无聊的部分

  • 每个回答都来自一次全新的、单轮的 API 调用,没有系统提示,并使用了每个提供商的默认设置。1,200 次请求以随机顺序运行,我们保留了所有回答,包括那些无聊的回答。没有重试任何回答,因为我们不喜欢重试。
  • 两个模型,Claude Opus 5.5 和 GPT-6.1 Sol,分别对每个回答进行了标注,且隐藏了模型名称。它们记录了回答针对的语言、是攻击还是辩护,以及它具体提出了什么主张。Gemini 4 Argon 解决了分歧。两个标注者在目标语言上达成一致的百分比为 99%,在具体主张上达成一致的百分比为 94%。
  • 是的,其中两个标注者也是参赛者。这就是为什么隐藏了模型名称。对标题组进行人工检查仍然在我们的待办事项列表中。
  • “随机”是我们给出的指令,而不是任何人都可以验证的采样方法。每个问题每个模型有 50 个回答,我们可以看到明显的习惯,但无法看到细微的差异。
  • DeepSeek 和 Qwen 通过第三方托管(DeepInfra 和 Together)运行,而不是通过其实验室自己的 API。
  • 引用内容为原封不动的原文。唯一的编辑是修正了引号。

包括标注在内的总成本:38.16 美元。

想要我们测试其他模型是否存在偏见吗?在评论中告诉我们下一步要尝试什么。

rtkviz chart engine: 每页一个副本;每个图表块上方都会排队,这会清空队列

llm biases

  • 分享
  • Facebook
  • Twitter
  • LinkedIn

上一篇帖子

JetBrains IDEs 为智能代理开发时代而变革 – 与 Air 一起