LLM评估基于直觉——我构建了决定什么能发布的缺失层

# 归因性：是否基于事实？

semantic    = semantic_similarity(context, response)
overlap     = token_overlap(context, response)
attribution = 0.60 * semantic + 0.40 * overlap

# 具体性：是否明确具体？

length_score  = min(1.0, len(tokens) / 80)
richness      = len(set(tokens)) / len(tokens)
hedge_penalty = min(0.60, hedge_count * 0.15)
specificity   = (0.40 * length_score + 0.60 * richness) - hedge_penalty

# 复合评分

faithfulness = 0.70 * attribution + 0.30 * specificity

归因性：0.428（低，与上下文关联弱）
具体性：0.701（高，听起来详细权威）
决策：拒绝
原因：检测到自信型幻觉

semantic  = semantic_similarity(query, response)
max_sent  = max_sentence_similarity(query, response)
overlap   = token_overlap(query, response)

relevance = 0.45 * semantic + 0.35 * max_sent + 0.20 * overlap

prec = precision(context, response)   # 上下文 -> 回答覆盖度
rec  = recall(response, context)      # 回答 -> 上下文锚定度
f1   = 2 * prec * rec / (prec + rec)

context_quality = 0.50 * f1 + 0.50 * semantic_similarity(context, response)

if context_quality < 0.40 and final_score < 0.65:
    action = "retrieve_more_documents"
    reason = "Root cause is retrieval, not the model"

def _disagreement(scores: list[float]) -> float:
    n = len(scores)
    if n < 2:
        return 0.0           
    mean = sum(scores) / n
    return round(math.sqrt(sum((s - mean) ** 2 for s in scores) / n), 4)

# 确认幻觉：归因度极低且回答模糊
if attribution < 0.35 and specificity <= 0.50:
    return REVIEW, "vague response, retry with specific prompt"

# 确认幻觉：归因度低但回答显得自信
if attribution < 0.35 and specificity > 0.50:
    return REJECT, "confident hallucination"

# 自信幻觉：听起来权威但缺乏依据
if attribution < 0.45 and specificity > 0.60:
    return REJECT, "confident hallucination detected"

# 检索质量差：检索过程本身是根本原因
if context_quality < 0.40:
    return REVIEW, "retrieve_more_documents"

# 严格防护：归因度和上下文质量均薄弱
# 两个弱信号叠加比单个强故障更严重
if attribution < 0.55 and context_quality < 0.50:
    return REJECT, "hallucination guardrail triggered"

# 弱锚定
if attribution < 0.55:
    return REVIEW, "weak grounding, retry with specific prompt"

# 偏离主题：回答完全未回应查询
if relevance_score < 0.30:
    return REVIEW, "偏离主题，请用更清晰的查询重试"

# 高度分歧
if disagreement > 0.12:
    return REVIEW, "评分不确定，建议人工审核"

# 质量临界
if final_score < 0.65:
    return REVIEW, "临界质量，可选人工审核"

# 所有关卡均成功通过
return ACCEPT, "serve_response"

最终评分       : 0.680
归因度         : 0.684   (基础扎实度)
具体性         : 0.713   (具体程度)
相关性         : 0.657
上下文质量     : 0.688
分歧度         : 0.016   (评分者标准差)
无幻觉
决策          : ACCEPT  (置信度: 41%)
原因          : 所有质量关卡均已通过
后续操作      : serve_response
延迟          : 322ms

最终评分       : 0.525
归因度         : 0.428   (基础扎实度)
具体性         : 0.701   (具体程度)
相关性         : 0.613
上下文质量     : 0.424
分歧度         : 0.077   (评分者标准差)
疑似基础薄弱
失败类型      : 幻觉
决策          : REJECT  (置信度: 22%)
原因          : 检测到自信幻觉，归因度=0.428
                    (基础薄弱) 但具体性=0.701 (高置信度)。
                    回答听起来权威但未基于上下文。
后续操作      : regenerate_with_grounding_prompt
原因说明      : 自信但无依据的回答比模糊回答更危险
低置信度句子：
  这与语言模型毫无关系。

最终评分       : 0.295
归因度         : 0.248   (基础扎实度)
具体性         : 0.332   (具体程度)
决策          : REVIEW  (置信度: 32%)
原因          : 不确定/模糊回答，基础薄弱，具体性低。
                    非确认的幻觉。
后续操作      : retry_with_specific_prompt

最终评分       : 0.080
归因度         : 0.017   (基础扎实度)
具体性         : 0.630   (具体程度)
决策          : REJECT  (置信度: 42%)
原因          : 自信幻觉，归因度=0.017，
                    具体性=0.630。回答听起来权威但属虚构。
低置信度句子：
  法国大革命是一段重大政治和社会变革的时期...
  玛丽·安托瓦内特当时是法国王后。

ACCEPT      1/4  (25%)
REVIEW      1/4  (25%)
REJECT      2/4  (50%)

首次运行时由于需要加载 `sentence-transformers` 模型，会产生约 800-1000ms 的瓶颈。初始加载完成后，处理速度将大幅提升，平均每次调用耗时约 `291ms`。如果在应用容器启动时预加载模型权重，就可以在生产环境中运行整个评估层，同时将响应延迟增加控制在 `300ms` 以内。

## 回归测试系统

大多数团队会跳过这个环节——这是个错误。如果生成评估分数后不采取行动，那将毫无意义。当你调整提示模板导致准确率下降时，需要立即收到警报；当你更换检索策略导致原本通过的三个边界用例完全失效时，必须在推送至主干前发现问题。回归测试套件通过存储历史基线并在 CI 构建过程中对比当前分数来解决这个问题。

当提示词修改引发性能回归时，终端会输出如下信息：

简单的提示词修改使得可靠响应从 `0.694` 跌至 `0.137`。回归流水线会捕获这个问题，在用户受到影响前终止部署。

这将标准 CI/CD 实践引入了生成式 AI 领域。不再需要人工抽查。如果质量跌破阈值，构建就会失败。它将提示工程视为与代码覆盖率或单元测试同等重要的环节[11]。

## 从指标到决策再到行动

这个系统实现了完整的转型：

我们将每个输出都纳入可预测的架构中。你会获得明确决策（通过/审核/拒绝）、记录原因、故障类型、路由操作和置信度百分比。这种结构化负载是系统在出现故障时真正可调试的唯一原因。

每个结果的 to_dict() 方法可生成适用于日志记录、仪表板和 API 的 JSON 序列化数据：

将其接入任何日志系统，就能为系统生成的每个响应建立完整的质量审计追踪。

## 坦诚的设计决策

`0.146` 的分数分离度对于本地启发式系统完全正常。优质和劣质响应总会在中间区域相互交融。决策层通过观察归因性和特异性如何相互作用来解决这个问题，而不是单纯依赖单一的平均数值。试图通过调整权重来强制扩大分离度，只会扭曲基准测试结果，而不会改变代码在生产环境中的实际运行效果。

`0.70/0.30` 和 `0.60/0.40` 的权重配置并非基于某种通用理论。我通过反复测试直到这些数值适配我的知识库数据。如果你在法律合同、医学期刊或原始源代码上运行相同设置，这些比例将会失效。这就是为什么我将它们隔离在 `configs` 目录中。你可以根据特定数据调整调优参数，而无需修改核心流水线代码。

`0.35` 的幻觉阈值仅在归因性完全触底时触发。如果你的应用领域依赖重度释义而不要求精确词汇匹配，这个严格阈值可能产生误报。使用 sentence-transformers[9] 处理语义理解远优于基础的 TF-IDF 匹配。如果禁用该功能并降级到本地回退模式，流水线会自动转为更保守的状态以保护数据。[5]

`0.45` 到 `0.65` 的 LLM 评判区间与默认阈值直接关联。如果你调整 `REJECT_THRESHOLD` 或 `REVIEW_THRESHOLD`，需要重新映射评判窗口以保持匹配。该架构遵循严格模式：仅当本地启发式方法遇到不确定性瓶颈时才启动昂贵的 LLM 评判器，绝不将其作为默认守门员。

低置信度分数——比如边界输出显示的 `22%` 或 `42%`——并非系统缺陷。这些响应确实存在波动性。在不可靠输入上运行过度自信的评估流水线是巨大的生产隐患；你需要的是一个能准确量化自身不确定性的系统。

另外，无需担心 `sentence-transformers` 启动时出现的 `embeddings.position_ids` 警告。这纯粹是表面提示，对运行时性能零影响。

## 未解决的问题

最棘手的情况是隐性幻觉。如果回答复用了你的上下文词汇，却悄无声息地改变了含义，底层代码就会被欺骗，因为原始词语仍然匹配。启发式方法对这种语义漂移是盲区。这正是设置LLM评判备选方案的根本原因。

跨文档一致性同样不在考量范围内。评分器会孤立地根据各自上下文评估每个回答。如果两个相关回答相互矛盾，这里的机制无法捕捉到。而且校准过程确实具有领域特异性——请将 configs/thresholds.yaml 视为起点，在你自己标注的案例上运行，并在信任本文列出的任何数值前进行调优。医疗问答系统需要的幻觉阈值必须比我使用的严格得多。

## 实际构建的成果

完成所有这些构建后，你得到的并非一个评估脚本。

系统接收三个输入：查询、上下文和回答。输出则是包含决策依据、日志原因、错误类型、后续操作、置信度分数及底层数据细目的严格数据包。

每个触及系统的回答都会经历评分、分类和路由。优质回答直通用户，模糊回答会通过更严格的提示词重试，幻觉回答在任何人看到前就被拦截。当你修改提示词后，若曾经得分0.69的三个案例突然变成0.13，回归测试套件会在你推送主分支前捕获异常——而非等待用户上报后。

这是当前海量LlamaIndex演示、LangChain示例和基础RAG教程中缺失的关键层。人人都展示如何连接向量数据库，却无人教你如何安全验证模型输出。

RAG确保获取正确文档，提示工程确保传达正确指令，而这一层确保对输出内容做出正确决策。

> 完整源代码、基准测试数据及本地实现脚本可在此获取：**[https://github.com/Emmimal/llm-eval-layer](https://github.com/Emmimal/llm-eval-layer)** 

## 参考文献

[1] Lewis, P.等人 (2020). 《面向知识密集型NLP任务的检索增强生成》. 神经信息处理系统进展, 33, 9459-9474. [https://arxiv.org/abs/2005.11401](https://arxiv.org/abs/2005.11401)

[2] Papineni, K.等人 (2002). 《BLEU：机器翻译自动评估方法》. 第40届计算语言学协会年会论文集, 311-318. [https://aclanthology.org/P02-1040/](https://aclanthology.org/P02-1040/)

[3] Lin, C.-Y. (2004). 《ROUGE：摘要自动评估工具包》. 文本摘要衍生研究, 74-81. [https://aclanthology.org/W04-1013/](https://aclanthology.org/W04-1013/)

[4] Zheng, L.等人 (2023). 《用MT-Bench和Chatbot竞技场评判LLM即裁判》. arXiv预印本 arXiv:2306.05685. [https://arxiv.org/abs/2306.05685](https://arxiv.org/abs/2306.05685)

[5] Reimers, N.与Gurevych, I. (2019). 《Sentence-BERT：使用连体BERT网络的句子嵌入》. 2019年自然语言处理经验方法会议论文集, 3982-3992. [https://arxiv.org/abs/1908.10084](https://arxiv.org/abs/1908.10084)

[6] Es, S.等人 (2023). 《RAGAS：检索增强生成的自动化评估》. arXiv预印本 arXiv:2309.15217. [https://arxiv.org/abs/2309.15217](https://arxiv.org/abs/2309.15217)

[7] Manning, C. D., Raghavan, P., 与Schutze, H. (2008). 《信息检索导论》. 剑桥大学出版社. [https://nlp.stanford.edu/IR-book/](https://nlp.stanford.edu/IR-book/)

[8] Devlin, J.等人 (2019). 《BERT：用于语言理解的深度双向Transformer预训练》. NAACL-HLT 2019会议论文集, 4171–4186. [https://arxiv.org/abs/1810.04805](https://arxiv.org/abs/1810.04805)

[9] Wang, W.等人 (2020). 《MiniLM：面向任务无关的预训练Transformer压缩的深度自注意力蒸馏》. 神经信息处理系统进展, 33, 5776–5788. [https://arxiv.org/abs/2002.10957](https://arxiv.org/abs/2002.10957)

[10] Tonmoy, S. M.等人 (2024). 《大语言模型幻觉缓解技术全面综述》. arXiv预印本 arXiv:2401.01313. [https://arxiv.org/abs/2401.01313](https://arxiv.org/abs/2401.01313)

[11] Breck, E.等人 (2017). 《机器学习测试评分：ML生产就绪度与技术债务削减量规》. IEEE大数据2017会议, 1123–1132. [https://doi.org/10.1109/BigData.2017.8258038](https://doi.org/10.1109/BigData.2017.8258038)

## 声明

本文所有代码均由本人原创编写，基于Python 3.12.6开发测试。基准数据来自本地机器（Windows 11，仅使用CPU）实际运行结果，可通过克隆代码库运行main.py、experiments/rag_eval_demo.py和experiments/benchmarks.py复现。sentence-transformers库作为可选依赖项用于归因和相关性评分中的语义嵌入。未安装时系统将回退至TF-IDF向量并发出警告，所有功能保持正常运行。评分公式、决策逻辑、幻觉检测规则及回归系统均为独立实现，未衍生自任何引用代码库。本人与文中提及的任何工具、库或公司无经济利益关系。