Can we trust LLMs to judge whether a research idea is novel?
大型语言模型在评估科研想法新颖性方面存在显著不可靠性,不同设置和模型可能导致判断差异超过50%。
入选理由:GPT-5.4与Claude Opus 4.6模型在提示词变化下准确率差异超50%
模型
别名:gpt5.1
OpenAI发布的大型语言模型
已跟踪 3 条高相关材料
最近变化
2026-10-27 · GPT-5.4与Claude Opus 4.6模型在提示词变化下准确率差异超50%
为什么值得关注
GPT-5.1 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
Can we trust LLMs to judge whether a research idea is novel?
Hugging Face Blog · 8.5 分
大型语言模型在评估科研想法新颖性方面存在显著不可靠性,不同设置和模型可能导致判断差异超过50%。
The last six months in LLMs in five minutes
Simon Willison's Weblog · 8.5 分
2025年11月是LLM发展的关键转折点,三大厂商的模型性能在六个月内五次易主,编码代理实现质的飞跃达到日常可用水平,同时Warelay等新兴工具开始出现。
This is really good comms. For context, ChatGPT had a bug where it kept talking about goblins. The...
Aadit Sheth(@aaditsh) · 4.2 分
OpenAI将ChatGPT‘哥布林’bug转化为幽默传播案例,但原文仅为一条Twitter短评,无技术细节、数据来源或方法论,信息密度低。
已收录 3 条与 GPT-5.1 相关的内容,按评分排序。
大型语言模型在评估科研想法新颖性方面存在显著不可靠性,不同设置和模型可能导致判断差异超过50%。
入选理由:GPT-5.4与Claude Opus 4.6模型在提示词变化下准确率差异超50%
2025年11月是LLM发展的关键转折点,三大厂商的模型性能在六个月内五次易主,编码代理实现质的飞跃达到日常可用水平,同时Warelay等新兴工具开始出现。
入选理由:2025年11月三大厂商模型性能排名变化5次,Claude Opus 4.5最终胜出
OpenAI将ChatGPT‘哥布林’bug转化为幽默传播案例,但原文仅为一条Twitter短评,无技术细节、数据来源或方法论,信息密度低。
入选理由:哥布林bug'源于'nerdy'人格模式,仅占2.5%响应却引发66.7%相关提及