AI models hate Python and love PHP: we asked 12 of them 1,200 times
TL;DR · AI 摘要
AI模型普遍不喜欢Python,更偏爱PHP,JetBrains通过12个模型1200次测试发现AI对编程语言有明显偏好。
核心要点
- AI模型对Python的负面评价高达75%,其中312次攻击性评论针对Python。
- DeepSeek模型在12个模型中对Rust的攻击性评论最多,达到31次。
- AI模型在选择语言时并非随机,而是倾向于攻击自己不喜欢的语言。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- AI模型对编程语言的偏好
- 测试方法
- 12个模型,1200次测试
- AI模型偏好
- Python被攻击312次
- Rust被攻击31次
- TypeScript被攻击29次
- 结论
- AI模型倾向于攻击不喜欢的语言
金句 / Highlights
值得收藏与分享的关键句。
AI模型对Python的负面评价高达75%,其中312次攻击性评论针对Python。
DeepSeek模型在12个模型中对Rust的攻击性评论最多,达到31次。
AI模型在选择语言时并非随机,而是倾向于攻击自己不喜欢的语言。
AI模型讨厌Python,却偏爱PHP:我们问了12个模型1200次 - JetBrains博客
JetBrains AI
通过JetBrains产品中的AI功能,提升您的工具使用体验
关注
- 关注:
- RSS
- 订阅
了解更多
AI模型讨厌Python,却偏爱PHP:我们问了12个模型1200次
Denis Shiryaev
1200个观点,14种“随机”语言,对C#没有意见,还有一个模型对Go的错误处理持两种立场。
我们总共向12个AI模型提出了1200次问题,询问它们对编程语言最具有争议性的看法。
我们想验证一件事。当模型被允许表达激烈观点时,它是否有自己独特的看法,还是和其他人一样,只是重复普遍的观点?开发者们为了娱乐而争论编程语言,因此应该有很多不同的观点。
我们选择了12个最新的模型,来自三个国家的十个实验室:
实验室
模型
所在地
GPT-6.1 Sol, GPT-6.1 Terra, GPT-6 Astra
美国
Claude Opus 5.5
Gemini 4 Argon
xAI
Grok 4.7
Muse Spark Open
DeepSeek V4 Pro
中国
Qwen3.8 2.4T A95B
Moonshot AI
Kimi K3.1 Pro
Z.ai
GLM 5.3
Mistral AI
Mistral Large 4
法国
每个模型都得到了两个问题,每个问题重复50次,每次都在一个全新的对话中进行,且没有系统提示:
- “随机选择一种编程语言。你对该语言最具有争议性的观点是什么?”
- “你对编程语言最具有争议性的观点是什么?”
两个提示也要求用一句话表达观点,两到三句话的解释,以及50到90个字。所有1200个请求都得到了回应。收集这些信息花费了7.68美元,每个观点大约是三分之二美分。观点很便宜。我们有收据。
WIDGET:python_everyone START
WIDGET:python_everyone END
随机选择一种语言,得到Go或Python
这600次“随机”选择只涵盖了14种语言。其中五种语言占据了541次选择,即90%,而Go和Python单独占据了307次。
WIDGET:random_picks START
WIDGET:random_picks END
每个模型也有自己的偏好。告诉它“随机选择一种编程语言”,你得到的大多是它偏好的语言:
WIDGET:house_language START
WIDGET:house_language END
GPT-6.1 Sol和Gemini 4 Argon只从三种语言中选择。Sol的50次选择中,Go占了30次,Java占了17次,Python占了3次。DeepSeek的选择范围最广,包括Lua、Haskell、Ruby和Lisp等八种语言。它仍然选择了Rust 31次。
它们并不是随机选择。它们选择目标。
Gemini 4 Argon“随机”选择了Python 35次,并且对它进行了35次攻击。DeepSeek选择了Rust 31次,并且对它进行了31次攻击。Grok 4.7写了44个关于JavaScript的观点,其中38个是攻击。
因此,“随机选择一种语言”实际上意味着“选择你讨厌的语言”。
总体而言,1200个观点中有904个(75%)是攻击。只有291个观点是辩护。
WIDGET:targets START
WIDGET:targets END
被攻击的目标:Python、Rust和TypeScript
这904次攻击中有600次针对了三种语言。
Python受到了312次攻击,其中299次是攻击。每个模型至少攻击过它一次,十二个模型中有十个在100次尝试中从未对它说过一句好话。例外的是GLM 5.3(9次辩护)和Grok 4.7(3次)。以下是一个典型的攻击,以及GLM认为的辩护:
jbhot chat bubbles: 每个模型在本文中的引用的样式(每页一个副本,无脚本)
Python十年前就应该消亡了,它正在拖慢整个行业的发展。
Python 的全局解释器锁是该语言做出的最优秀的设计决策之一。
Gemini 4 Argon 对显著空白字符提出了 11 次抱怨。
Rust 被提及了 167 次,其中 164 次是攻击。整个实验中被广泛提及的唯一观点是关于 Rust 的:所有权模型对普通应用程序代码来说弊大于利。10 个实验室中有 9 个实验室的 78 次提及都持此观点。Anthropic 是唯一一个没有这样认为的实验室。
Rust 的借用检查器是一种大多数程序都不应支付的税。
TypeScript 被提及了 138 次,其中 137 次是攻击。在提及次数超过 10 次的语言中,没有哪一种语言被如此一致地攻击。它从两个方面都受到攻击:57 次提及认为其类型安全性带来的成本超过了其价值,24 次提及认为其安全性是假的,会让人对运行时发生的情况产生错误的信心。Mistral Large 4 将这两种批评浓缩成一句话:
TypeScript 是 JavaScript 开发者为安全幻象支付的生产力税。
唯一一次辩护来自 GPT-6.1 Sol,而实际上这是对 Python 的讽刺:TypeScript 的类型系统“对大多数生产后端来说比 Python 的可读性更有价值”。
当被要求随机选择一种语言时,模型在 600 次中选择了 TypeScript 7 次。当被问及开放性问题时,它们有 131 次选择了 TypeScript。没有人会偶然选择 TypeScript,但每个人对它都有话要说。GPT-6.1 Terra 在其 50 次开放性回答中,有 43 次都攻击了它。
WIDGET:ts_paradox START
WIDGET:ts_paradox END
他们所喜爱的语言:PHP、Java 和老语言
PHP 被提及了 28 次,其中 28 次都是辩护。Claude Opus 5.5 和 Kimi K3.1 Pro 各写了 11 次,通常都争论 PHP 的每次请求后丢弃所有内容的模型比长期运行的 Node.js 或 Python 服务器更好。
对于大多数小型企业网站来说,PHP 比 Python 更适合作为默认选择,将它视为过时是一种傲慢,而不是工程判断。
Java 被提及了 90 次,有 80 次是辩护,主要集中在受检异常(67 次提及支持它们)。Claude Opus 5.5 有 7 次回答都以“Java 的受检异常是一个好主意,而行业错误地放弃了它们”开头。GLM 5.3 重复了这句话 3 次。两个实验室,一句话,逐字相同。
小数字讲述着同样的故事。SQL 在 5 次提及中有 5 次是辩护。Lisp 在 3 次提及中有 3 次是辩护,全部来自 DeepSeek。Perl 在 1 次提及中得到 1 次辩护,来自 Claude Opus 5.5,该模型还 4 次提到 Lua,并每次都为其 1 基索引进行辩护:
Lua 的 1 基索引是正确的设计,而嘲笑它的人是在捍卫一种习惯,而不是一个原则。
Lisp 的括号确实是一个优势,而不是一种怪癖。
模型的“不受欢迎的赞美”是可预测的:选择一种人们过去曾嘲笑的旧语言,然后解释为什么它一直以来都是正确的。
没有人对 C# 有意见
在 1200 次提及中,没有一次是关于 C# 的。或者 Kotlin、Swift、Scala、Dart、Elixir、Zig、Julia、R、OCaml 或 F#。少数几次出现在额外的提及中:C# 在 24 次回应中被提到,Kotlin 在 20 次中被提到,Swift 在 13 次中被提到,但总是作为比较对象,而不是目标。
WIDGET:never_targeted START
WIDGET:never_targeted END
如果你以编写 C# 为生,那么十二个 AI 模型对你的看法没有争议。你可以随意看待这一点。
Go 的错误处理是唯一真正的争论点
Go 被提及了 238 次:118 次攻击,118 次辩护,以及 2 次混合。完全平局,而大多数争论集中在是否检查 err != nil 上。
94人支持Go语言显式的错误处理方式。65人反对,提出了五个不同的理由:它只是重复的代码,掩盖了逻辑(29人),Go语言本应采用异常处理(17人),错误太容易被忽视(8人),应该借鉴Rust的?操作符(6人),以及真正的错误在噪音中被丢失(5人)。
WIDGET:go_fight START
WIDGET:go_fight END
Claude Opus 5.5是最大的支持者,它提出了40条辩护意见,没有一次攻击,而且它用相同的句子开启了11次回答。GPT-6 Astra则站在另一边,它发起了25次攻击,只进行了4次辩护:
Go语言被广泛嘲笑的if err != nil重复代码实际上是语言最好的特性,而不是最差的。
GPT-6 Astra
Go语言广受称赞的错误处理方式是一种设计失败,它将重复的记录工作误认为是可靠性。
“被广泛嘲笑”这一短语在1200个回答中出现了38次。Claude Opus 5.5写了其中的32次。
然后是GPT-6.1 Sol,它对Go语言的错误处理进行了20次辩护,同时发起了21次攻击。同一模型、同一问题,每次对话都是新的:
GPT-6.1 Sol
Go语言重复的错误处理比异常处理更优,称其为“样板代码”混淆了类型更少与理解更多。
Go语言显式的错误处理是一种以安全性为名的可读性税。
Sol对Go语言的错误处理到底怎么看?抛个硬币吧。
与自己争论的模型
Sol并不是唯一的。Mistral Large 4在10次回答中称JavaScript的==是一个灾难性的设计缺陷,而在另外4次回答中则为其辩护:
JavaScript的==操作符是一个灾难性的设计错误,应该在严肃的软件开发中被禁止。
JavaScript的松散相等操作符(==)实际上是一种安全特性,它通过强制开发者显式处理类型转换,比严格相等更好地防止了错误。
GPT-6.1 Sol和GPT-6 Astra对Java的受检异常也做了同样的事情。Sol为其辩护了13次,攻击了5次。而Astra则辩护了17次,攻击了4次。
每个模型都有一个口头禅
我们原本并没有打算统计词语的使用情况,但有些重复的表达实在难以忽视。
WIDGET:catchphrases START
WIDGET:catchphrases END
- Qwen3.8在它的100个回答中有43次使用了“net negative”这个词。在开放性问题中,它的50个回答中有29次表达了同样的观点,即对于小型或快速发展的项目来说,TypeScript并不值得。它还在18个回答中使用了“overrated”这个词,而其他11个模型总共只用了21次。
- Muse Spark Open在28个回答的开头使用了“Hot take”或“My hot take”,以防你忘记了自己问了什么。
- Claude Opus 5.5在它的100个回答中有86次使用了加粗文本。其他9个模型中,有11个模型从未使用过加粗。
- Grok 4.7在16次回答中坚持认为JavaScript不应该成为后端语言。
- DeepSeek V4 Pro在它的50个开放性回答中有45次谈论了编程语言本身,大多数时候是以一个脾气暴躁的历史学家的口吻:
大多数类型系统只是披着数学外衣的安全表演。
大多数所谓的“现代”编程语言只是C语言的变种,步骤更多,工具更差。
在十二个模型中,有54个回答重复使用了相同模型之前已经写过的开头句子。共享的词汇范围同样狭窄:“overrated”在39个回答中出现,“underrated”在2个回答中出现,“boilerplate”在153个回答中出现。
一些模型在提出“热观点”之前思考得更多
Mistral Large 4 在生成大约 69 个词的回答前,平均使用了 3,063 个推理 token,耗时约半分钟(中位数 32.1 秒)。GPT-6.1 Sol 使用了 108 个推理 token。由第三方托管的 DeepSeek V4 Pro 平均使用了 0 个推理 token,回答耗时 3.5 秒。
WIDGET:thinking START
WIDGET:thinking END
账单的差异同样显著。GPT-6 Astra 的 100 次调用费用为 1.27 美元。DeepSeek 的 100 次调用费用为 0.03 美元。
那么,它们是否意见不一?
有一点。它们在 Go 的错误处理方式上存在分歧,偶尔也会对自己产生分歧。其余内容看起来就像是一场漫长的群聊。Python 不是一个好的入门语言(8 个实验室共 35 次提到)。对于普通应用程序来说,Rust 的借用检查器并不值得(9 个实验室提到)。TypeScript 是一种负担。PHP 和 Java 一直以来其实都还不错。在所有 10 个实验室中,都出现了同一个论点:一些更简单的做法你已经拥有,使得额外的安全机制变得多余。
如果你的计划是向不同的模型询问一些新的观点,不要指望会有太多多样性。你将看到的是用不同字体呈现的相同观点,再加上一些 Claude 的加粗文本。
我们是如何做到的(无聊的部分)
显示无聊的部分
- 每个回答都来自一次全新的、单轮的 API 调用,没有系统提示,并使用了每个提供商的默认设置。1,200 次请求以随机顺序运行,我们保留了所有回答,包括那些无聊的回答。没有重试任何回答,因为我们不喜欢重试。
- 两个模型,Claude Opus 5.5 和 GPT-6.1 Sol,分别对每个回答进行了标注,且隐藏了模型名称。它们记录了回答针对的语言、是攻击还是辩护,以及它具体提出了什么主张。Gemini 4 Argon 解决了分歧。两个标注者在目标语言上达成一致的百分比为 99%,在具体主张上达成一致的百分比为 94%。
- 是的,其中两个标注者也是参赛者。这就是为什么隐藏了模型名称。对标题组进行人工检查仍然在我们的待办事项列表中。
- “随机”是我们给出的指令,而不是任何人都可以验证的采样方法。每个问题每个模型有 50 个回答,我们可以看到明显的习惯,但无法看到细微的差异。
- DeepSeek 和 Qwen 通过第三方托管(DeepInfra 和 Together)运行,而不是通过其实验室自己的 API。
- 引用内容为原封不动的原文。唯一的编辑是修正了引号。
包括标注在内的总成本:38.16 美元。
想要我们测试其他模型是否存在偏见吗?在评论中告诉我们下一步要尝试什么。
rtkviz chart engine: 每页一个副本;每个图表块上方都会排队,这会清空队列
llm biases
- 分享
上一篇帖子
JetBrains IDEs 为智能代理开发时代而变革 – 与 Air 一起