Towards Data Science

Local LLMs Handle Textbook RAG but Fail on New Research Papers

8.5内容质量

TL;DR · AI 摘要

本地小型LLM在处理教科书内容时表现良好,但在处理最新研究论文时几乎失效,表明模型对新内容的适应能力不足。

核心要点

  • 本地小型LLM在处理教科书内容时得分12到20分(满分20),但在处理最新研究论文时得分降至0到9分(满分15)。
  • 使用RAG系统时,模型对新内容的适应能力比问题难度更重要。
  • 系统使用BM25和bge-m3进行搜索,结合本地模型和Gemini进行答案生成。

结构提纲

按章节快速跳转。

  1. 作者介绍了一个基于本地GPU的RAG系统,并测试了其在处理教科书和最新研究论文时的表现。

  2. 系统使用FastAPI和React构建,支持PDF和PPT文档的解析与处理。

  3. 系统使用BM25和bge-m3进行搜索,并通过交叉编码器对结果进行重排序。

  4. 本地小型LLM在处理教科书内容时表现良好,但在处理最新研究论文时几乎失效。

  5. 模型对新内容的适应能力比问题难度更重要,这可能影响本地RAG系统的实际应用。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 本地LLM在RAG系统中的表现
    • 测试内容
      • 教科书内容(得分高)
      • 最新研究论文(得分低)
    • 系统架构
      • FastAPI + React
      • BM25 + bge-m3搜索
      • 本地模型(gpt-oss)和Gemini
    • 关键发现
      • 模型对新内容的适应能力比问题难度更重要

金句 / Highlights

值得收藏与分享的关键句。

  • 本地小型LLM在处理教科书内容时得分12到20分(满分20),但在处理最新研究论文时得分降至0到9分(满分15)。

    — 第 2 段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 使用RAG系统时,模型对新内容的适应能力比问题难度更重要。

    — 第 3 段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 系统使用BM25和bge-m3进行搜索,结合本地模型和Gemini进行答案生成。

    — 第 4 段

    ⬇︎ 下载 PNG𝕏 分享到 X
#RAG#LLM#本地模型#研究论文#AI
打开原文

在教科书与最新研究论文上测试本地 LLM RAG

RAG

本地 LLM 能处理教科书 RAG,但无法应对最新研究论文

五种设置,一个盲评包:教科书得分在 20 题中达到 12 至 20 分,但一篇今年发表的论文将它们降至 15 题中 0 至 9 分。

Waleed Esmail

2026 年 11 月 16 日

9 分钟阅读

更喜欢我们在 Google 上的版本

分享

你的 PDF 和幻灯片保留在你的笔记本电脑上;答案会附带页面引用。图片由作者提供。

一个本地研究助手如何在一个 16 GB GPU 上通过页面引用回答你的 PDF 中的问题,以及小型本地模型为何难以应对新论文。

我阅读了很多技术资料:机器学习教科书、粒子物理以及我所在领域的论文。我想要一个助手,能够回答我资料库中的问题,引用确切的页面,向我展示相关段落,并在我的笔记本电脑上运行。无需上传,无需订阅,无需猜测答案来自哪里。

于是,我构建了一个!

老实说,我并没有自己编写大部分代码。Claude Code 逐步在我的机器上构建了它,而我则负责设计、编写测试问题、阅读每一份报告并在每个关键点上做出决策。这种工作方式本身就是一个故事。这篇文章是关于测量结果所显示的内容,因为其中一些结果让我感到惊讶。

简短的版本:在教科书问题上,小型本地模型表现良好。但在一篇今年发表的论文上,它们几乎降到了零分,尽管使用了相同的检索、相同的提示和相同的段落。如果你构建一个本地 RAG 系统,材料对模型的新颖程度比问题的难度更重要。

关于我自己的论文提问:答案引用了论文中的段落,查看器在页面上高亮显示了这些段落。图片由作者提供。

问题询问我在关于地震波场的自回归序列模型论文中,K、C、T 和 H 分别代表什么,一个 token 持续多长时间,以及一个 240 秒的 rollout 需要多少 tokens。托管的 Claude Opus 答案解释了每个符号(K = 每个 token 16 个样本,C = 3 个通道,T = 320 个上下文 tokens,H = 4 个预测 tokens),计算出一个 token 约为 8.4 秒,rollout 约为 28 个 tokens,并引用了段落 S1 和 S4。PDF 查看器显示了方法部分,并高亮显示了检索到的段落。聊天窗口下方,搜索范围仅限于勾选的论文,并显示了四种答案模式及其成本。

我构建的内容,一图说明

该应用是一个带有 React 前端的 FastAPI 服务器。你将 PDF 和 PowerPoint 文件放入一个文件夹中。每个文档通过 Docling 解析一次,显示的公式由 Granite-Docling 重新读取并与其 PDF 的自身字形进行核对,文本被切割成 300–600 个 token 的块,且不会分割公式、表格或代码块。

一个问题是如何被回答的。所有内容都在一个 16 GB 笔记本电脑 GPU 上运行。图片由作者提供。

一个问题是通过两个搜索进行处理:一个是使用 SQLite FTS5 的 BM25 进行的关键词搜索,另一个是使用 bge-m3 向量进行的语义搜索。搜索结果合并后,一个交叉编码器将前 30 名重新排序为前 6 名。上下文会添加每个结果两侧的两个相邻块,以及图表、摘要和个人笔记。所选模型(本地 gpt-oss 或 Gemma 4,或托管的 Qwen 或 Opus)会生成答案并附上引用 [S n]。每处理一份文档时,Docling 会解析 PDF,Granite-Docling 会读取显示公式并将其与 PDF 的字形进行核对,文本会被切割成 300–600 个 token 的块,并带有标题路径,同时构建关键词和向量索引、图表描述以及章节、章节和整本书的摘要树。所有操作都可以在一个 16 GB 的笔记本电脑 GPU 上运行;只有在问题选择时才会使用托管模型。

一个问题会经过关键词搜索(BM25)和向量搜索(bge-m3),两个排名列表通过互惠排名融合进行合并,然后交叉编码器将前 30 名重新排序为前 6 名。前几名的结果会带来其相邻的块,一些保留的插槽会添加图表、摘要和我自己的笔记。然后我选择的模型会生成一个带有编号引用的答案,在我看到答案之前,所有未被提供来源的引用都会被删除。

共有四种回答模式:

  • 快速:在我的 GPU 上使用 gpt-oss-20b。免费,大约 17 秒。
  • 均衡:在我的 GPU 上使用 Gemma 4 26B-A4B。免费,大约一分钟,可以查看图像。
  • Qwen:通过 OpenRouter 使用 Qwen3.8-27B,固定在一个提供商上。每个问题大约 0.015 美元。
  • 深度:使用 Claude Opus 5.5。每个问题大约 0.14 美元。

本地是默认选项。托管是每个问题的选择,应用程序会明确说明它发送了什么内容。

我是如何测量的

在编写检索代码之前,我从自己的资料中编写了 35 个黄金问题:其中 20 个来自四本教科书,15 个来自我今年发表的一篇论文。对于每个问题,我都写下了预期的页面和一个好答案必须包含的关键点。对于 20 个教科书问题,我还列出了必须传递给模型的事实。

每个答案都由一些未见过工作内容的新评分代理进行评分,分为良好、较弱或错误。多个运行的答案被打乱并放入一个匿名包中,不包含模型名称,每个答案都与它所接收到的段落一起展示。最后这个细节被证明是最有用的:它让你能够区分一个推理错误的模型和一个从未看到事实的模型。

发现 1:教科书/论文的划分

为了将“小型模型”与“本地运行时”区分开,我将同样的 35 个问题通过五种设置进行处理:通过 API 使用三个开放模型进行全精度处理,本地使用 gpt-oss,以及 Opus 作为参考。所有设置都使用相同的检索和相同的提示,并在一个盲评包中进行评分。

相同的问题,相同的检索:在 20 个教科书问题和 15 个新论文问题上获得良好答案,进行一次盲评。图片由作者提供。

在相同的问题和相同的检索下,根据提前写好的关键点进行盲评,获得良好答案。教科书问题,然后是论文问题:Claude Opus 5.5(API)20/20 到 9/15;Qwen3.8-27B(API)19/20 到 7/15;Gemma 4 26B-A4B(API)16/20 到 1/15;gpt-oss-20b(API)12/20 到 2/15;我笔记本电脑上的 gpt-oss-20b 12/20 到 0/15。蓝色线条代表 Opus 和密集的 27B Qwen;橙色线条代表具有约 4B 激活参数的专家混合模型。

在教科书问题上,得分分别是 20、19、16、12 和 12,满分 20。表现不错。在论文问题上,得分分别是 9、7、1、2 和 0,满分 15。

再读一遍:这些段落出现在每个模型面前。本地的 gpt-oss 获得了与 Opus 相同的段落,但仍然没有答对任何论文相关的问题。

我的理解是:在教科书内容方面,小型模型已经多次接触过这些概念。这些段落只需要提醒它们即可。而在一篇新的论文中,答案必须完全基于段落内容,而这就是小型模型的薄弱之处。它们用教科书中通常接下来的内容填补空白,而不是用论文中实际提到的内容。

两个次要结果使这一结论更加清晰:

  • 量化并不是问题。通过 API 以原生精度运行的 gpt-oss 得分与我的本地副本相当(14 对 12 个正确答案,符号检验 p = 0.69)。本地的 QAT Gemma 也与其全精度的 API 版本表现一致。在该硬件上,限制因素是模型本身,而不是运行时。
  • 一个中等规模的托管模型已经接近前沿水平。Qwen3.8-27B 的表现与 Opus 相差不大(26 对 29),价格大约是 Opus 的十分之一。不过,它的速度较慢:每个答案大约需要三分钟,其中几乎全部时间用于思考。

因此,我应用中的建议模式很简单:使用 Fast 模式查找你熟悉的书中内容,使用 Deep 或 Qwen 处理任何新内容。

发现 2:大多数失败是检索失败

将答案与相关段落一起评分时,还发现了其他问题。一再出现的情况是,答案错误是因为事实从未到达模型,而不是因为模型推理错误。

最大的提升来自于检索,而不是模型本身。前两行统计了正确答案的数量;第三行统计了所有所需事实都被检索到的问题数量。图片由作者提供。

对检索进行了三次改进,每次都在其自己的问题集上进行了改进前后的测量。在 Deep 模式下,添加了图像描述并发送图像本身后,图示问题的正确率从 1/10 提升到 9/10。在 Deep 模式下,添加了摘要树后,概述问题的正确率从 1/8 提升到 8/8。在添加了每个方向两个相邻块后,所有所需事实都被检索到的书籍问题的正确率从 16/20 提升到 19/20。

  • 图表。我编写了 10 个问题,答案只存在于图表中。Deep 模式下,正确率为 1/10。九次失败都是由于检索失败:没有段落包含该值。我为每个图表撰写了一次描述(397 个图表,使用 Sonnet 5.5 花费 3.50 美元),这样搜索可以找到它们,并且在检索到图表时,图像本身会发送给模型。结果:10 个问题中 9 个正确。
  • 概述问题。问题是:“第 12 章的内容是什么,它如何建立在第 9 章的基础上?”没有一个块包含一章的论点。本地模型生成了一个摘要树(章节、整篇文档:2.9 小时生成 281 个摘要,花费 0 美元)。概述问题的正确率从 1/8 提升到 8/8。在完整的 16 个问题集中,16 个正确,而没有摘要树的情况下,没有一个问题正确(p = 0.008)。
  • 相邻块。块边界通常出现在匹配的句子和你需要的方程之间。在顶部三个命中周围添加两个相邻块,使所有所需事实都被检索到的书籍问题的比例从 16/20 提升到 19/20。

这些改进都没有改变模型本身。它们改变了模型能看到的内容。

发现 3:即使输入良好,本地模型也会失败

一些任务我努力保持本地运行却无法做到:

  • 读取图表。我在 10 个图表上盲测了四个描述者。Gemma 4(思考开启或关闭)和 Qwen3-VL 8B 误读了坐标轴比例,其中一个误差约为 25 倍,并且发明了数值。Qwen3-VL 在 10 个图表中发明了 7 个数值。Sonnet 5.5 在我自己的盲测评分中,10 个问题中 9 个正确。
  • 阅读网页。通过网页搜索,Deep在图书馆无法回答的问题上从3–4个正确提升到了11个正确中的11个,而Balanced只得到了2个正确。即使应用程序自行选择了页面并为Balanced提供了干净的摘录,它仍然只得到了2个正确。它误解了页面:一个5.8σ的张力变成了8–σ,一个Python版本的编号差了一位。
  • 编写可验证的声明。我添加了一个检查器:模型将其推导过程中的声明写在一个小块中,SymPy会检查每一个声明,包括单位。Deep在10个推导中都写出了可验证的声明。本地模型在10个推导中实现了2到6个,它们的错误大多出现在它们所写的声明之外。对失败检查进行最佳N重采样没有带来任何提升(有或没有它,都是4个正确)。

还有一个我没想到的情况:提供工具可能会带来伤害。在没有“提出网页搜索”工具的情况下,Balanced在相同的图书馆问题上得到了21个正确答案,而使用该工具时只得到了17个正确答案,这些问题都不需要进行网页搜索。对于小模型来说,每一个额外的工具都可能让它们做出错误的决定。

发现4:在35个问题中,了解你的噪声

这一部分让我避免了多次欺骗自己。

  • 评分者偏差。同一组答案在两个不同轮次中评分时,正确答案的数量最多相差3个。因此,我只在同一个盲包内进行比较。
  • 使用符号检验。对于同一组问题的两次运行,只有它们意见不一致的问题才具有信息价值。摘要树以8–0获胜:p = 2.2^{-8} ≈ 0.008。真实。在我的最终评估中,Balanced失去了4个答案,但又获得了1个答案,与参考答案相比:p = 0.375。噪声。
  • 使用区间。在早期轮次中,Deep在35个问题中正确回答了29个,听起来像是“83%”。威尔逊95%置信区间为67%到92%。
  • 估计变化幅度。如果每个32个答案中正确概率约为0.55,那么两次运行之间的差异的标准差为√(2·32·0.55·0.45) ≈ 4个答案。减少3个答案的变化幅度小于一个标准差。

这些都不是高级统计方法。只需花十分钟学习,它就能改变你对哪些结果是可信的看法。

在你构建一个系统之前,我想告诉你的事情

  • 首先编写测试问题,从你自己的材料中编写,包含关键点。在系统构建之后编写的测试集往往只测试你所构建的内容。
  • 在评分时让段落可见。这会告诉你是否需要修复检索,还是需要更改模型。
  • 按照新颖性将问题分开。分别报告“熟悉”和“新”的内容。一个单一的平均值会掩盖最重要的差异。
  • 在购买更大的模型之前先修复检索。邻居、重排序器、图示描述和摘要树给我带来的提升比任何模型替换都多。
  • 让小模型做小任务。保持它们的工具列表简短。将图示、网页和推导过程路由到更强的模型,并在界面中说明这一点。
  • 在运行之前先设定标准,并将未达标的视为未达标。我的几个门限失败了;每个失败都是公开决定的。
  • 显示来源。每个答案都会引用其页面,点击即可打开。当模型出错时,我能在几秒钟内看到。

结语

最终版本在Deep中很好地回答了我35个黄金问题中的34个,每题大约花费14美分。快速回答教科书查询在大约17秒内免费完成。两者结合覆盖了我日常使用中的大部分情况,而且我总是知道答案来自哪里。

我学到的最有用的东西不在代码中。本地模型对于看起来像它训练数据的材料是一个很好的图书管理员,但对于任何新内容却是一个不可靠的读者。为这种情形构建系统,并对其进行测量。

感谢您的阅读。代码在 AGPL-3.0 许可下开源:https://github.com/wesmail/study-assistant-share 。请在自己的资料库中尝试使用它,如果出现问题,请提交一个 issue,并告诉我它答错的问题。这样测量结果会变得更好。