docs: 测试问题集与评分规范，审核规则定稿（T04/T09） #62

2026-10-22T08:54:12+08:00

yxx commented

2026-10-22 08:54:12 +08:00

需求 / Issue

T04「明确接口字段、知识来源审核规则」与 T09「构建可核验问题集及评分规范」（见 docs/TASKS.md、docs/TEAM_WORKPLAN.md）。

改动范围

docs/knowledge/review-rules.md：审核规则由草案改为已定稿（2026-10-21），判定标准与核验流程确认。
docs/knowledge/test-question-set.md：新增 24 道测试问题（Q01–Q24），四类各 6 道；每道含类别、预期知识点、允许引用来源（K 编号）、资料不足情形。
docs/knowledge/scoring-rubric.md：新增 A/B/C 对照实验评分规范，5 维度加权（正确性 40%、可追溯性 30%、无依据回答 20%、响应时间 5%、成本 5%），每维度 0–2 分。
docs/TASKS.md：T04、T09 标记「已完成」。

关键口径

问题集与评分规范为草案，自阶段 3 起用于检索/问答评测。
任何分数须来自实际运行、检索日志与人工评分，不预设结论、不编造实验结果（符合 docs/CONTRIBUTING.md §6）。
问题集允许引用来源均对应资料台账 verified 条目（K 编号）；Q24 演示「资料不足」情形（对应已 rejected 的 K-0006 活动期信息）。

测试命令及结果

仅文档改动，无代码/测试。

截图

无界面改动。

数据库变更

无。未修改数据库结构。

风险与回滚

纯文档改动，回滚方式为 revert 对应提交。问题集/评分规范阈值在阶段 6 冻结实验配置时按实测分布确定，本 MR 中响应时间/成本分档为占位示例。

🤖 Generated with Claude Code

## 需求 / Issue T04「明确接口字段、知识来源审核规则」与 T09「构建可核验问题集及评分规范」（见 `docs/TASKS.md`、`docs/TEAM_WORKPLAN.md`）。 ## 改动范围 - `docs/knowledge/review-rules.md`：审核规则由草案改为**已定稿**（2026-10-21），判定标准与核验流程确认。 - `docs/knowledge/test-question-set.md`：新增 24 道测试问题（Q01–Q24），四类各 6 道；每道含类别、预期知识点、允许引用来源（K 编号）、资料不足情形。 - `docs/knowledge/scoring-rubric.md`：新增 A/B/C 对照实验评分规范，5 维度加权（正确性 40%、可追溯性 30%、无依据回答 20%、响应时间 5%、成本 5%），每维度 0–2 分。 - `docs/TASKS.md`：T04、T09 标记「已完成」。 ## 关键口径 - 问题集与评分规范为草案，自阶段 3 起用于检索/问答评测。 - 任何分数须来自实际运行、检索日志与人工评分，不预设结论、不编造实验结果（符合 `docs/CONTRIBUTING.md` §6）。 - 问题集允许引用来源均对应资料台账 `verified` 条目（K 编号）；Q24 演示「资料不足」情形（对应已 rejected 的 K-0006 活动期信息）。 ## 测试命令及结果仅文档改动，无代码/测试。 ## 截图无界面改动。 ## 数据库变更无。未修改数据库结构。 ## 风险与回滚纯文档改动，回滚方式为 revert 对应提交。问题集/评分规范阈值在阶段 6 冻结实验配置时按实测分布确定，本 MR 中响应时间/成本分档为占位示例。 🤖 Generated with [Claude Code](https://claude.com/claude-code)

yxx added 1 commit 2026-10-22 08:54:13 +08:00

docs: add test question set and scoring rubric, finalize review rules 0c03f9bcb5

- add test-question-set.md (24 questions across 4 categories)
- add scoring-rubric.md (A/B/C comparison dimensions and scale)
- finalize review-rules.md (draft -> confirmed)
- update TASKS.md: mark T04 and T09 done

Co-Authored-By: Claude Code <noreply@anthropic.com>

You are not authorized to merge this pull request.

This pull request can be merged automatically.

View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.

git fetch -u origin docs/test-question-set:docs/test-question-set

git checkout docs/test-question-set

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: saint/border-red-post-nalati#62