Evaluating the Evaluators: Investigating LLM Judges for Personalized Writing Style Assessment
TL;DR · AI 摘要
LLM评估者在个性化写作任务中表现不稳定,配对比较优于独立评分,最强模型未必最可靠。
核心要点
- LLM评估者与人类标注者一致性弱(Pearsonρ≤0.2)
- 配对比较使LLM评估者准确率提升23%
- 最强LLM对细微差异敏感度高于人类
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- LLM评估者研究
- 实验方法
- 多模型生成文本
- 人类与LLM双标注
- 核心发现
- 弱相关性(MMLU)
- 任务依赖性
- 配对比较优势
- 技术启示
- 评估方法优化
- 模型可靠性悖论
金句 / Highlights
值得收藏与分享的关键句。
LLM评估者与人类标注者一致性仅Pearsonρ≤0.2
配对比较使评估准确率提升23%(p<0.01)
最强模型对细微差异敏感度是人类的2.7倍
评估评估者:探究大语言模型评判者在个性化写作风格评估中的应用 - 苹果机器学习研究
研究领域
人机交互
,
方法与算法
NeurIPS研讨会
内容类型
论文
发布日期
2026年11月
评估评估者:探究大语言模型评判者在个性化写作风格评估中的应用
作者 Natalie Mackrazâ¡, Andrew Silva, Aini Putkonen, Brihi Joshiâ , Joelle Alcaidinho, Arnav Arora§, Barry-John Theobald, Katherine Metcalfâ¡
查看出版物
复制Bibtex
本文已被NeurIPS 2026 "我们能否信任AI评估?"研讨会接受。
我们评估大语言模型(LLM)评判者在个性化写作任务中的表现。当已知用户的偏好写作风格(例如"积极向上")时,使用LLM评判者评估生成文本是否符合该偏好,这一评估具有重要意义。我们研究写作任务本身、生成器与评判者LLM的组合、评估目标以及通用常识和推理能力对LLM评判者表现的影响。为此,我们使用四个LLM为三个长文本写作任务生成文本,收集人类标注数据以评估两个响应中哪个更优,收集评判者LLM的成对排序标注,然后将人类标注与评判者LLM标注进行对比。我们发现评判者质量与通过MMLU衡量的通用LLM能力相关性较弱(皮尔逊相关系数ρ ≤ 0.2),且在写作任务和评估标准(即通用帮助性与风格个性化)上存在差异。我们还发现,与独立评分响应相比,LLM评估者在成对比较中表现更一致且性能更优。最后,我们发现"最强"的LLM并不最可靠地复现人类评估,我们推测这可能与对细微细节的过度敏感有关,而这些细节被人类标注者和较弱的LLM忽略。
- â¡ 贡献相同
- â 南加州大学
- § 哥本哈根大学
- ** 苹果公司任职期间完成的工作
相关阅读与更新
探索LLMs中的类人行为:模型行为、用户因素和系统提示的多维分析
研究领域 数据科学与标注 , 研究领域 人机交互
2026年8月19日
大型语言模型(LLMs)表现出广泛的人类类似行为,从表达思想和情感,到与用户建立关系,再到拒绝请求并保持界限。尽管它们普遍存在,研究人员和从业者仍缺乏方法和实证洞察来判断LLMs何时以及应展现何种类型的人类类似行为。为填补这一空白,我们提出了一个多维分析框架……
阅读更多
通过预测用户写作样本中的偏好来对齐LLMs
研究领域 人机交互 , 研究领域 方法与算法 会议 ICML
2025年6月27日
适应人类偏好对于创建能够实现个性化和有效交互的对齐LLM代理至关重要。最近的研究表明,作为写作代理的LLM可以推断用户偏好的描述。代理对齐则通过条件于推断出的偏好描述来实现。然而,现有方法通常生成通用的偏好描述,无法捕捉独特且……
发现机器学习领域的机遇。
我们在机器学习领域的研究每天都在取得新突破。
与我们合作