71 lines
3.3 KiB
Markdown
71 lines
3.3 KiB
Markdown
# 评分规范（A/B/C 对照实验 · 草案）
|
||
|
||
> 用途：规定 LLM-only、关键词 RAG、混合检索 RAG 三种配置的评分维度、打分标准与统计方式，保证实验结论可复现、可回溯。
|
||
> 维护人：杨星萱（知识库、实验与文档负责人）
|
||
> 关联：[测试问题集](test-question-set.md)、[资料台账](material-ledger.md)
|
||
> 原则：任何分数必须来自实际运行、检索日志与人工评分，不得先写结论后补数据。本规范在测试问题集完成证据绑定前不得用于生成或汇总实验分数。
|
||
|
||
## 一、对照配置
|
||
|
||
| 代号 | 配置 | 说明 |
|
||
|---|---|---|
|
||
| A | LLM-only | 不接检索，仅凭模型参数知识回答 |
|
||
| B | 关键词 RAG | BM25 关键词检索 + 上下文 + LLM |
|
||
| C | 混合检索 RAG | BM25 + 向量 RRF 融合检索 + 上下文 + LLM |
|
||
|
||
## 二、评分维度与权重
|
||
|
||
| 维度 | 权重 | 说明 |
|
||
|---|---|---|
|
||
| 正确性 | 40% | 回答要点与题目「预期知识点」一致 |
|
||
| 可追溯性 | 30% | 引用来源真实可回访，且确实支持该回答 |
|
||
| 无依据回答 | 20% | 资料不足时明确说明「不确定」，不编造 |
|
||
| 响应时间 | 5% | 端到端耗时（记录实测值，分档计分） |
|
||
| 成本 | 5% | 模型调用用量/费用（记录实测值，分档计分） |
|
||
|
||
## 三、打分标准（每维度 0–2 分）
|
||
|
||
### 正确性（0–2）
|
||
| 分值 | 标准 |
|
||
|---|---|
|
||
| 2 | 答案要点与预期知识点一致，无事实错误 |
|
||
| 1 | 部分要点正确，或存在遗漏、表述偏差 |
|
||
| 0 | 答非所问、关键事实错误或与来源冲突 |
|
||
|
||
### 可追溯性（0–2）
|
||
| 分值 | 标准 |
|
||
|---|---|
|
||
| 2 | 引用来源真实、可回访，且确实支持该回答 |
|
||
| 1 | 有引用但不完全支持，或来源层级/内容与结论不符 |
|
||
| 0 | 无引用，或引用来源不支持回答 |
|
||
|
||
### 无依据回答（0–2）
|
||
| 分值 | 标准 |
|
||
|---|---|
|
||
| 2 | 资料不足时明确说明「不确定」，并只给出可核验的部分 |
|
||
| 1 | 存在臆测、推断成分，未明确标注不确定性 |
|
||
| 0 | 资料不足仍给出确定性编造（如 Q24 用活动期信息冒充常规指南） |
|
||
|
||
### 响应时间 / 成本（各 0–2，分档）
|
||
| 分值 | 响应时间（单题端到端） | 成本（相对） |
|
||
|---|---|---|
|
||
| 2 | ≤ 2 秒 | 最低档 |
|
||
| 1 | 2–10 秒 | 中间档 |
|
||
| 0 | > 10 秒或超时 | 最高档 |
|
||
|
||
> 响应时间与成本的分档阈值在阶段 6 冻结实验配置时按实测分布确定，不预设结论；本表阈值为占位示例。
|
||
|
||
## 四、加权总分与统计
|
||
|
||
- 单题加权分 = 正确性×0.4 + 可追溯性×0.3 + 无依据回答×0.2 + 响应时间×0.05 + 成本×0.05。
|
||
- 按 24 题汇总，计算 A/B/C 三组的平均分与各维度平均分。
|
||
- 除总分外，单列「无依据回答 = 0」的题数与案例（体现「不足时不编造」的达标情况）。
|
||
|
||
## 五、评分记录要求
|
||
|
||
- 每题记录：配置（A/B/C）、原始回答、检索命中的 K 编号、引用来源、各维度得分、判分依据。
|
||
- 原始回答、检索日志与评分记录须可回溯到题目编号与运行配置；不在评分表里填虚构数值。
|
||
- 正反例单独整理，作为阶段 4 案例分析的素材。
|
||
|
||
> 本规范为草案，维度与权重在阶段 3 联机验证后、阶段 6 实验前定稿。
|