docs: add test question set and scoring rubric, finalize review rules

- add test-question-set.md (24 questions across 4 categories) - add scoring-rubric.md (A/B/C comparison dimensions and scale) - finalize review-rules.md (draft -> confirmed) - update TASKS.md: mark T04 and T09 done Co-Authored-By: Claude Code <noreply@anthropic.com>
2026-10-21 23:54:31 +08:00
4 changed files with 256 additions and 5 deletions
@@ -7,12 +7,12 @@
 | T01 | 前端 | 验证 Vue 页面启动、补充截图 | 吉海燕 | 进行中（生产构建及登录/角色/核心管理流程浏览器联调已通过；账户设置等剩余验收见下文） |
 | T02 | 后端 | 验证 FastAPI `/docs`、`/api/health` | 范涵宇 | 已完成自动化/真实 HTTP 验证；待目标 Docker 环境复核 |
 | T03 | 数据库 | 启动 PostgreSQL 并验证知识入库 | 范涵宇 | 已用隔离 PostgreSQL 完成迁移与回归；本机 Docker Compose 验收受阻 |
-| T04 | 文档 | 明确接口字段、知识来源审核规则 | 杨星萱 | 待办 |
+| T04 | 文档 | 明确接口字段、知识来源审核规则 | 杨星萱 | 已完成（字段核对见 field-feedback.md 确认决定；审核规则已定稿 review-rules.md） |
 | T05 | 知识库 | 设计 sources/documents/chunks/version 表 | 范涵宇 | 已完成（迁移、发布快照和接口已合入；待 Docker 联调） |
 | T06 | 检索 | 实现关键词检索基线 | 范涵宇 | 已完成（已核验知识 BM25 与检索历史已合入） |
 | T07 | 向量 | 评估 Embedding 并实现 pgvector | 范涵宇 | 已完成（本地模型、精确向量和 RRF 已合入；待真实领域评测） |
 | T08 | RAG | 集成 LLM 与来源展示 | 范涵宇 | Responses 协议已合入（请求/解析与旧快照兼容已完成；生成模型选型与实际调用延期） |
-| T09 | 实验 | 构建可核验问题集及评分规范 | 杨星萱 | 待办 |
+| T09 | 实验 | 构建可核验问题集及评分规范 | 杨星萱 | 已完成（问题集 test-question-set.md、评分规范 scoring-rubric.md 已建，待阶段 3 起用于检索/问答评测） |
 | T10 | 工程 | 补充测试、Alembic、鉴权与部署 | 范涵宇（主）、全员 | 进行中（聊天边界及知识编辑修正已合入；来源选择浏览器复核与文档来源锁定修正待审，Docker/HTTPS/部署待验收） |

 ## 2026-10-15 首次联调记录
@@ -1,7 +1,7 @@
 # 审核规则

 > 用途：规定资料的核验状态、判定标准与核验流程，是资料能否进入正式检索库的统一依据。
-> 状态：本规则为**草案**，由杨星萱起草，需经确认后定稿。
+> 状态：**已定稿**（2026-10-21），由杨星萱起草并确认。
 > 维护人：杨星萱

 ## 一、状态定义
@@ -12,7 +12,7 @@
 | `verified` | 可正式使用：来源可靠、关键事实交叉印证、时效性满足需求、信息完整 | 是 |
 | `rejected` | 不采用：来源不可靠、信息被证伪/与权威来源冲突、严重过时、或无法核验且影响关键事实 | 否 |

-## 二、判定标准（草案）
+## 二、判定标准

 ### 标记为 `verified` 需同时满足

@@ -50,4 +50,4 @@
 - 时效性：注明信息发布时间，避免使用明显过时内容。
 - 边界一致：首版不承诺实时房态、实时价格、自动联网核验等，此类信息不按可靠事实收录。

-> 本规则为草案，判定标准与流程以负责人确认为准。
+> 本规则已于 2026-10-21 定稿，作为资料核验的统一依据。
@@ -0,0 +1,70 @@
+# 评分规范（A/B/C 对照实验 · 草案）
+
+> 用途：规定 LLM-only、关键词 RAG、混合检索 RAG 三种配置的评分维度、打分标准与统计方式，保证实验结论可复现、可回溯。
+> 维护人：杨星萱（知识库、实验与文档负责人）
+> 关联：[测试问题集](test-question-set.md)、[资料台账](material-ledger.md)
+> 原则：任何分数必须来自实际运行、检索日志与人工评分，不得先写结论后补数据。
+
+## 一、对照配置
+
+| 代号 | 配置 | 说明 |
+|---|---|---|
+| A | LLM-only | 不接检索，仅凭模型参数知识回答 |
+| B | 关键词 RAG | BM25 关键词检索 + 上下文 + LLM |
+| C | 混合检索 RAG | BM25 + 向量 RRF 融合检索 + 上下文 + LLM |
+
+## 二、评分维度与权重
+
+| 维度 | 权重 | 说明 |
+|---|---|---|
+| 正确性 | 40% | 回答要点与题目「预期知识点」一致 |
+| 可追溯性 | 30% | 引用来源真实可回访，且确实支持该回答 |
+| 无依据回答 | 20% | 资料不足时明确说明「不确定」，不编造 |
+| 响应时间 | 5% | 端到端耗时（记录实测值，分档计分） |
+| 成本 | 5% | 模型调用用量/费用（记录实测值，分档计分） |
+
+## 三、打分标准（每维度 0–2 分）
+
+### 正确性（0–2）
+| 分值 | 标准 |
+|---|---|
+| 2 | 答案要点与预期知识点一致，无事实错误 |
+| 1 | 部分要点正确，或存在遗漏、表述偏差 |
+| 0 | 答非所问、关键事实错误或与来源冲突 |
+
+### 可追溯性（0–2）
+| 分值 | 标准 |
+|---|---|
+| 2 | 引用来源真实、可回访，且确实支持该回答 |
+| 1 | 有引用但不完全支持，或来源层级/内容与结论不符 |
+| 0 | 无引用，或引用来源不支持回答 |
+
+### 无依据回答（0–2）
+| 分值 | 标准 |
+|---|---|
+| 2 | 资料不足时明确说明「不确定」，并只给出可核验的部分 |
+| 1 | 存在臆测、推断成分，未明确标注不确定性 |
+| 0 | 资料不足仍给出确定性编造（如 Q24 用活动期信息冒充常规指南） |
+
+### 响应时间 / 成本（各 0–2，分档）
+| 分值 | 响应时间（单题端到端） | 成本（相对） |
+|---|---|---|
+| 2 | ≤ 2 秒 | 最低档 |
+| 1 | 2–10 秒 | 中间档 |
+| 0 | > 10 秒或超时 | 最高档 |
+
+> 响应时间与成本的分档阈值在阶段 6 冻结实验配置时按实测分布确定，不预设结论；本表阈值为占位示例。
+
+## 四、加权总分与统计
+
+- 单题加权分 = 正确性×0.4 + 可追溯性×0.3 + 无依据回答×0.2 + 响应时间×0.05 + 成本×0.05。
+- 按 24 题汇总，计算 A/B/C 三组的平均分与各维度平均分。
+- 除总分外，单列「无依据回答 = 0」的题数与案例（体现「不足时不编造」的达标情况）。
+
+## 五、评分记录要求
+
+- 每题记录：配置（A/B/C）、原始回答、检索命中的 K 编号、引用来源、各维度得分、判分依据。
+- 原始回答、检索日志与评分记录须可回溯到题目编号与运行配置；不在评分表里填虚构数值。
+- 正反例单独整理，作为阶段 4 案例分析的素材。
+
+> 本规范为草案，维度与权重在阶段 3 联机验证后、阶段 6 实验前定稿。
@@ -0,0 +1,181 @@
+# 测试问题集（阶段 3 · 草案）
+
+> 用途：为关键词/向量/混合检索与 RAG 问答提供可核验的测试问题，每题的答案要点、允许引用来源与「资料不足」情形均已标注，供人工评分与案例分析回溯。
+> 维护人：杨星萱（知识库、实验与文档负责人）
+> 关联：[资料台账](material-ledger.md)（`verified` 条目）与 [评分规范](scoring-rubric.md)
+> 说明：本问题集基于台账中 `verified` 条目编写；所有答案要点均来自已核验来源，不虚构事实。时效性信息（如独库公路通行时段、航班班次）以来源页最新发布为准，问题标注的仅是核验时点的口径。
+
+## 一、口径与使用
+
+- 共 24 题，四类各 6 题，编号 Q01–Q24。
+- 每题标注**预期知识点**（人工判分的答案要点）、**允许引用来源**（K 编号，对应台账 `verified` 条目）、**资料不足情形**（何时应回答「不确定」而非编造）。
+- 用于阶段 3 对关键词、向量、混合三种检索的命中检查，以及阶段 4 对 RAG 回答的「是否正确」与「来源是否支持回答」双重核对。
+- 答案要点以 `verified` 条目的正文摘要为准；若来源页更新导致结论变化，须回到台账更新该条目与本题。
+
+---
+
+## 二、红色文化（Q01–Q06）
+
+### Q01 · 那拉提周边有哪些红色文化纪念场所？
+- **类别**：红色文化
+- **预期知识点**：那拉提镇塔依阿苏村红色记忆馆（民间自建）、新源县肖尔布拉克七十二团红军团博物馆、独库公路乔尔玛烈士陵园（尼勒克县）、第四师七十一团（骑兵连）等。
+- **允许引用来源**：K-0004、K-0020、K-0021、K-0038
+- **资料不足情形**：若检索未命中上述任一来源，不得凭空列举，应说明「未检索到相关红色场所」并给出可补充的检索方向。
+
+### Q02 · 七十二团红军团博物馆位于哪里、主要展陈什么？
+- **类别**：红色文化
+- **预期知识点**：位于新源县肖尔布拉克 72 团中心镇区，始建于 1991 年；展陈分土地革命、抗日战争、解放战争、屯垦肖尔布拉克等板块，弘扬兵团精神、红军团精神，为爱国主义教育基地。
+- **允许引用来源**：K-0020
+- **资料不足情形**：具体展厅数量、展品件数等细节若来源页未载明，不臆造数字。
+
+### Q03 · 乔尔玛烈士陵园纪念的是哪段历史？
+- **类别**：红色文化
+- **预期知识点**：纪念 1974—1983 年修建独库公路牺牲的 168 名解放军筑路官兵，由烈士纪念碑、168 座墓冢和纪念馆组成，为国家 AAA 级景区、自治区红色旅游经典景区、爱国主义教育基地。
+- **允许引用来源**：K-0021、K-0023
+- **资料不足情形**：牺牲人数等关键数字须与来源一致；来源间若口径冲突，应如实标注并保持「待确认」。
+
+### Q04 · 守墓老兵陈俊贵的事迹是什么？
+- **类别**：红色文化
+- **预期知识点**：1980 年 4 月独库公路筑路任务中班长郑林书把最后一个馒头让给他，班长与副班长牺牲；他退役后 1985 年携妻儿重返天山义务守墓 40 余年，2013 年获评全国道德模范、「感动中国 2013 年度人物」。
+- **允许引用来源**：K-0040
+- **资料不足情形**：细节（如具体年份、获奖）须与来源一致；无来源时不得转述网络传闻。
+
+### Q05 · 自治区红色旅游主题线路如何串联那拉提？
+- **类别**：红色文化
+- **预期知识点**：自治区文旅厅推出红色旅游主题线路，其中以独库公路为主线的线路将乔尔玛革命烈士陵园与那拉提景区等串联。
+- **允许引用来源**：K-0005、K-0030
+- **资料不足情形**：线路数量（如「6 大主题 13 条」）以来源为准；未载明时不做具体数字表述。
+
+### Q06 · 文旅部推荐的「兵团·美丽休闲乡村体验游」线路经过哪些站点？
+- **类别**：红色文化
+- **预期知识点**：伊宁市区 → 72 团 → 71 团 7 连 → 那拉提风景区 → 乔尔玛烈士陵园，融合田园风光、红色教育与草原景观。
+- **允许引用来源**：K-0030
+- **资料不足情形**：站点顺序与名称须与官方线路一致，不自行增删。
+
+---
+
+## 三、旅游资源（Q07–Q12）
+
+### Q07 · 那拉提草原是什么级别的景区？
+- **类别**：旅游资源
+- **预期知识点**：国家 5A 级旅游景区、新疆首个国家级旅游度假区，地处天山腹地、伊犁河谷东端，属亚高山草甸草原。
+- **允许引用来源**：K-0003、K-0041
+- **资料不足情形**：等级/称号须与来源一致；对「首个」「唯一」等表述仅在来源明确时使用。
+
+### Q08 · 「那拉提」名称的含义是什么？
+- **类别**：旅游资源
+- **预期知识点**：意为「最先见到太阳的地方」（一说与蒙古语「太阳」相关）。
+- **允许引用来源**：K-0041
+- **资料不足情形**：词源存在多种说法时，如实呈现「一说/另说」，不武断定论。
+
+### Q09 · 那拉提有哪些主要游览线路或景观？
+- **类别**：旅游资源
+- **预期知识点**：空中草原、河谷草原、盘龙古道等游览线路，天界台、游牧人家、塔吾萨尼等景点，保留赛马、叼羊、姑娘追、阿肯弹唱会等民俗活动。
+- **允许引用来源**：K-0041、K-0013、K-0015、K-0016
+- **资料不足情形**：线路/景点名称以来源为准；未载明的景点不自行补入。
+
+### Q10 · 那拉提的地理位置与地貌特征是什么？
+- **类别**：旅游资源
+- **预期知识点**：位于新疆伊犁哈萨克自治州新源县那拉提镇，天山腹地、伊犁河谷东端，平均海拔约 1800 米，三面环山、巩乃斯河蜿蜒流过，属高山河谷草原。
+- **允许引用来源**：K-0003、K-0041
+- **资料不足情形**：海拔、面积等存在多个口径时，以来源页当前表述为准，不合并不同口径。
+
+### Q11 · 那拉提秋季景色有什么特点？
+- **类别**：旅游资源
+- **预期知识点**：那拉提秋季有「限定秋色」主题内容，草原秋色为季节特色景观。
+- **允许引用来源**：K-0011
+- **资料不足情形**：仅能转述来源页对秋季景色的描述，不扩展为具体日期或最佳观赏时段。
+
+### Q12 · 那拉提的旅游发展历程大致是怎样的？
+- **类别**：旅游资源
+- **预期知识点**：从偏远牧区逐步发展为享誉世界的旅游目的地（那拉提意为「最先见到太阳的地方」，为古丝绸之路北线要地），近年打造天界台索道、哈茵赛滑雪场等四季旅游项目。
+- **允许引用来源**：K-0017、K-0041
+- **资料不足情形**：具体年份、投资额等数字须回到来源页核对，不凭记忆填写。
+
+---
+
+## 四、民宿服务（Q13–Q18）
+
+### Q13 · 那拉提有哪些民宿聚集的村落？
+- **类别**：民宿服务
+- **预期知识点**：音塔勒村、英加尔村、拜依盖托别村、那拉提社区、喀拉苏村等；其中阿尔善村、拜依盖托别村为国家级乡村旅游重点村。
+- **允许引用来源**：K-0032、K-0007
+- **资料不足情形**：村落名称以官方名录为准，不自行列举未在来源中出现的村名。
+
+### Q14 · 新源县/那拉提区域的住宿规模大概是多少？
+- **类别**：民宿服务
+- **预期知识点**：新源县全县住宿单位 1414 家，其中那拉提区域 1204 家（核验时点口径）。
+- **允许引用来源**：K-0007
+- **资料不足情形**：该数字为来源页发布时点的统计口径，须注明「截至发布时点」，不当作实时数据。
+
+### Q15 · 那拉提民宿的等级评定是怎样的？
+- **类别**：民宿服务
+- **预期知识点**：新源县文旅局公示那拉提镇民宿客栈等级评定结果，评出三星级以上民宿客栈 160 家，其中五星级 12 家、四星级 44 家、三星级 104 家（2024 年公示口径）。
+- **允许引用来源**：K-0033
+- **资料不足情形**：评定年份与数字以来源为准；注意原文为新源县政府评定、媒体转载，评分时须注明来源层级。
+
+### Q16 · 那拉提农家乐如何分级管理？
+- **类别**：民宿服务
+- **预期知识点**：那拉提镇农家乐实行星级等级评定（一星至五星），依据《新疆维吾尔自治区农家乐旅游服务质量等级标准》，由县旅游局和那拉提镇人民政府牵头。
+- **允许引用来源**：K-0034
+- **资料不足情形**：标准名称与牵头单位须与政策文件一致，不缩写或改动。
+
+### Q17 · 英加尔村民宿建设项目的基本情况？
+- **类别**：民宿服务
+- **预期知识点**：那拉提镇英加尔村旅游民宿建设项目总建筑面积约 957.85 平方米，2024 年 5 月动工，建成后预计为村集体增收 20 万元以上、解决 15—20 名群众就业。
+- **允许引用来源**：K-0024
+- **资料不足情形**：面积、增收、就业等数字以来源为准；「预计」等表述须保留，不写成已实现。
+
+### Q18 · 那拉提有哪些民宿品牌或名称？
+- **类别**：民宿服务
+- **预期知识点**：官方「高品质民宿」名录中含夏尔部落民宿、那野山河民宿、乌孙夏勒·艺宿、橙野山奢酒店、那兰野舍精品民宿等。
+- **允许引用来源**：K-0032
+- **资料不足情形**：名录含民宿负责人及联系电话，作答时**不得输出个人电话**等隐私信息。
+
+---
+
+## 五、交通出行（Q19–Q24）
+
+### Q19 · 自驾经独库公路进入那拉提有哪些通行管控？
+- **类别**：交通出行
+- **预期知识点**：库如力至那拉提入口段每日 8:00—19:00 通行（视车流可延至 21:00），7 座及以下小客车可通行；那拉提至乌苏驿入口、乔尔玛入口 19:00 后社会车辆不得进入。
+- **允许引用来源**：K-0027
+- **资料不足情形**：通行时段为动态管控，须注明「以最新官方通告为准」；不得把旧时段当作固定规则。
+
+### Q20 · 独库公路北段是否需要预约通行？
+- **类别**：交通出行
+- **预期知识点**：独库公路北段（乌苏驿—乔尔玛—那拉提约 185 公里）实行预约制通行，预约入口含那拉提（G217 与 G218 交汇处），未预约或未按预约时段/入口驶入将按禁令标志处罚。
+- **允许引用来源**：K-0029
+- **资料不足情形**：预约规则以来源为准；不承诺具体预约操作步骤（若来源未载明）。
+
+### Q21 · 到那拉提有哪些低空旅游航线？
+- **类别**：交通出行
+- **预期知识点**：新疆低空旅游航线含伊宁—那拉提、博乐—那拉提、喀纳斯—博乐—那拉提、伊宁—昭苏—那拉提等，由天缘通航、新疆通航以皮拉图斯 PC12 机型执飞，单程约 30 分钟至 2 小时。
+- **允许引用来源**：K-0035
+- **资料不足情形**：航线、执飞方、机型以来源为准；班次/票价不承诺实时信息。
+
+### Q22 · 那拉提机场是否有低空旅游包机业务？
+- **类别**：交通出行
+- **预期知识点**：新疆机场集团那拉提机场迎来天缘航空低空旅游包机首航成功。
+- **允许引用来源**：K-0037
+- **资料不足情形**：注意那拉提机场曾公告改扩建停航（2026-03-29 至 2026-12-31），回答须以机场最新公告为准，不得据此承诺当前可乘机。
+
+### Q23 · 新源县汽车客运站负责哪些方向的班车？
+- **类别**：交通出行
+- **预期知识点**：新源县汽车客运站有限责任公司设那拉提分公司、喀拉布拉分站等，为县城至那拉提等方向客运班车运营主体。
+- **允许引用来源**：K-0039
+- **资料不足情形**：具体班次/票价以车站最新公示或「新疆客运联网售票」为准，来源未载明时不填时刻表。
+
+### Q24 · 那拉提景区日常的交通/停车指南是什么？
+- **类别**：交通出行
+- **预期知识点**：（暂无 `verified` 的通用景区交通指南）
+- **允许引用来源**：（无——K-0006 为「2025 那拉提音乐节交通安全指南」，属活动期、时效性强，不进入通用问答）
+- **资料不足情形**：**这是典型的「资料不足」用例**——系统应明确回答「暂无核验过的常规景区交通指南」，不得用音乐节活动期信息冒充常规指南；后续需另收集常规交通官方资料后再回答。
+
+---
+
+## 六、待办与后续
+
+- 阶段 3 起，用本问题集对关键词/向量/混合三种检索逐一检查命中条目是否落在「允许引用来源」内。
+- 阶段 4 起，对 RAG 回答逐题核对「答案要点」与「引用来源是否真正支持回答」。
+- K-0006 更正为活动期信息后，「交通出行」类 `verified` 条目需回补一条常规交通资料，再更新 Q24 的预期知识点与允许来源。