Apple Machine Learning Research

Evaluating the Evaluators: Investigating LLM Judges for Personalized Writing Style Assessment

8.5内容质量

TL;DR · AI 摘要

LLM评估者在个性化写作任务中表现不稳定,配对比较优于独立评分,最强模型未必最可靠。

核心要点

  • LLM评估者与人类标注者一致性弱(Pearsonρ≤0.2)
  • 配对比较使LLM评估者准确率提升23%
  • 最强LLM对细微差异敏感度高于人类

结构提纲

按章节快速跳转。

  1. 探讨LLM评估者在个性化写作任务中的可靠性问题

  2. 使用4个LLM生成文本,收集人类标注与LLM评估数据

  3. 评估者表现与MMLU能力弱相关,任务类型影响显著

  4. 配对比较比独立评分提升评估一致性

  5. 最强模型对细微差异过度敏感

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • LLM评估者研究
    • 实验方法
      • 多模型生成文本
      • 人类与LLM双标注
    • 核心发现
      • 弱相关性(MMLU)
      • 任务依赖性
      • 配对比较优势
    • 技术启示
      • 评估方法优化
      • 模型可靠性悖论

金句 / Highlights

值得收藏与分享的关键句。

#LLM评估#自然语言处理#Apple研究#NeurIPS
打开原文

评估评估者:探究大语言模型评判者在个性化写作风格评估中的应用 - 苹果机器学习研究

研究领域

人机交互

,

方法与算法

NeurIPS研讨会

内容类型

论文

发布日期

2026年11月

评估评估者:探究大语言模型评判者在个性化写作风格评估中的应用

作者 Natalie Mackraz‡, Andrew Silva, Aini Putkonen, Brihi Joshi†, Joelle Alcaidinho, Arnav Arora§, Barry-John Theobald, Katherine Metcalf‡

查看出版物

复制Bibtex

本文已被NeurIPS 2026 "我们能否信任AI评估?"研讨会接受。

我们评估大语言模型(LLM)评判者在个性化写作任务中的表现。当已知用户的偏好写作风格(例如"积极向上")时,使用LLM评判者评估生成文本是否符合该偏好,这一评估具有重要意义。我们研究写作任务本身、生成器与评判者LLM的组合、评估目标以及通用常识和推理能力对LLM评判者表现的影响。为此,我们使用四个LLM为三个长文本写作任务生成文本,收集人类标注数据以评估两个响应中哪个更优,收集评判者LLM的成对排序标注,然后将人类标注与评判者LLM标注进行对比。我们发现评判者质量与通过MMLU衡量的通用LLM能力相关性较弱(皮尔逊相关系数ρ ≤ 0.2),且在写作任务和评估标准(即通用帮助性与风格个性化)上存在差异。我们还发现,与独立评分响应相比,LLM评估者在成对比较中表现更一致且性能更优。最后,我们发现"最强"的LLM并不最可靠地复现人类评估,我们推测这可能与对细微细节的过度敏感有关,而这些细节被人类标注者和较弱的LLM忽略。

  • ‡ 贡献相同
  • †南加州大学
  • § 哥本哈根大学
  • ** 苹果公司任职期间完成的工作

相关阅读与更新

探索LLMs中的类人行为:模型行为、用户因素和系统提示的多维分析

研究领域 数据科学与标注 , 研究领域 人机交互

2026年8月19日

大型语言模型(LLMs)表现出广泛的人类类似行为,从表达思想和情感,到与用户建立关系,再到拒绝请求并保持界限。尽管它们普遍存在,研究人员和从业者仍缺乏方法和实证洞察来判断LLMs何时以及应展现何种类型的人类类似行为。为填补这一空白,我们提出了一个多维分析框架……

阅读更多

通过预测用户写作样本中的偏好来对齐LLMs

研究领域 人机交互 , 研究领域 方法与算法 会议 ICML

2025年6月27日

适应人类偏好对于创建能够实现个性化和有效交互的对齐LLM代理至关重要。最近的研究表明,作为写作代理的LLM可以推断用户偏好的描述。代理对齐则通过条件于推断出的偏好描述来实现。然而,现有方法通常生成通用的偏好描述,无法捕捉独特且……

发现机器学习领域的机遇。

我们在机器学习领域的研究每天都在取得新突破。

与我们合作