评分规范（A/B/C 对照实验 · 草案）
用途：规定 LLM-only、关键词 RAG、混合检索 RAG 三种配置的评分维度、打分标准与统计方式，保证实验结论可复现、可回溯。
维护人：杨星萱（知识库、实验与文档负责人）
关联：测试问题集、资料台账
原则：任何分数必须来自实际运行、检索日志与人工评分，不得先写结论后补数据。
一、对照配置
| 代号 |
配置 |
说明 |
| A |
LLM-only |
不接检索，仅凭模型参数知识回答 |
| B |
关键词 RAG |
BM25 关键词检索 + 上下文 + LLM |
| C |
混合检索 RAG |
BM25 + 向量 RRF 融合检索 + 上下文 + LLM |
二、评分维度与权重
| 维度 |
权重 |
说明 |
| 正确性 |
40% |
回答要点与题目「预期知识点」一致 |
| 可追溯性 |
30% |
引用来源真实可回访，且确实支持该回答 |
| 无依据回答 |
20% |
资料不足时明确说明「不确定」，不编造 |
| 响应时间 |
5% |
端到端耗时（记录实测值，分档计分） |
| 成本 |
5% |
模型调用用量/费用（记录实测值，分档计分） |
三、打分标准（每维度 0–2 分）
正确性（0–2）
| 分值 |
标准 |
| 2 |
答案要点与预期知识点一致，无事实错误 |
| 1 |
部分要点正确，或存在遗漏、表述偏差 |
| 0 |
答非所问、关键事实错误或与来源冲突 |
可追溯性（0–2）
| 分值 |
标准 |
| 2 |
引用来源真实、可回访，且确实支持该回答 |
| 1 |
有引用但不完全支持，或来源层级/内容与结论不符 |
| 0 |
无引用，或引用来源不支持回答 |
无依据回答（0–2）
| 分值 |
标准 |
| 2 |
资料不足时明确说明「不确定」，并只给出可核验的部分 |
| 1 |
存在臆测、推断成分，未明确标注不确定性 |
| 0 |
资料不足仍给出确定性编造（如 Q24 用活动期信息冒充常规指南） |
响应时间 / 成本（各 0–2，分档）
| 分值 |
响应时间（单题端到端） |
成本（相对） |
| 2 |
≤ 2 秒 |
最低档 |
| 1 |
2–10 秒 |
中间档 |
| 0 |
> 10 秒或超时 |
最高档 |
响应时间与成本的分档阈值在阶段 6 冻结实验配置时按实测分布确定，不预设结论；本表阈值为占位示例。
四、加权总分与统计
- 单题加权分 = 正确性×0.4 + 可追溯性×0.3 + 无依据回答×0.2 + 响应时间×0.05 + 成本×0.05。
- 按 24 题汇总，计算 A/B/C 三组的平均分与各维度平均分。
- 除总分外，单列「无依据回答 = 0」的题数与案例（体现「不足时不编造」的达标情况）。
五、评分记录要求
- 每题记录：配置（A/B/C）、原始回答、检索命中的 K 编号、引用来源、各维度得分、判分依据。
- 原始回答、检索日志与评分记录须可回溯到题目编号与运行配置；不在评分表里填虚构数值。
- 正反例单独整理，作为阶段 4 案例分析的素材。
本规范为草案，维度与权重在阶段 3 联机验证后、阶段 6 实验前定稿。
yxxandClaude Code
0c03f9bcb5