feat: add chunk BM25 and reproducible RRF retrieval

docs/ARCHITECTURE.md

@@ -14,7 +14,7 @@ FastAPI + Pydantic
           |-- 来源获取 -> 人工核验 -> 文本切分 -> 生成向量 -> 发布版本
 ```
 
-当前后端实现健康/数据库就绪检查、来源与文档管理、知识增删改查、分页筛选、人工审核、历史快照、认证会话/角色权限及独立关键词检索；问答仍为占位接口。数据库由 Alembic 显式迁移并启用 pgvector，尚无向量字段、向量索引和 RAG。前端来源登记/查询已接入，实验页仍为静态原型，文档、审核、完整分页与检索页面需继续联调。
+当前后端实现健康/数据库就绪检查、来源与文档管理、知识增删改查、分页筛选、人工审核、历史快照、认证会话/角色权限、文本/向量快照及独立关键词/向量/RRF 检索；问答仍为占位接口。数据库由 Alembic 显式迁移并启用 pgvector，RAG 待后续实现。前端来源登记/查询已接入，实验页仍为静态原型，文档、审核、完整分页与检索页面需继续联调。
 
 ## 阶段 2 数据边界
 
@@ -37,7 +37,7 @@ FastAPI + Pydantic
 
 新增 `retrieval_runs` 保存查询、模式、语料指纹和完整结果快照，支持分页读取及按 UUID 复核。零命中如实记录；当前依据修改后失效不会改写历史，但后续检索必须重新检查审核与父记录状态。响应耗时是本次真实读取、分词、排序及片段生成耗时，不含写日志或模型调用。
 
-关键词基线仍按知识条目检索，显示片段最长 240 字符；独立的持久化 chunks 和文本索引版本见下方。当前尚无倒排索引、Embedding、向量检索、RRF 或 RAG。全语料计算明确限制条目数及总字符数，超限报错，适用于首批小规模资料与后续对照实验准备，不能当作生产检索性能结论。
+关键词基线仍按知识条目检索，显示片段最长 240 字符；独立的持久化 chunks 和文本索引版本见下方。该接口不读取 chunks；chunk 与向量/RRF 的独立接口见后文。全语料计算明确限制条目数及总字符数，超限报错，适用于首批小规模资料与后续对照实验准备，不能当作生产检索性能结论。
 
 
 ## 切分与索引版本（T05）
@@ -47,3 +47,10 @@ FastAPI + Pydantic
 目录写入、构建与发布共用状态行锁，目录写入先于父记录锁获取该锁并递增修订号。发布核对代数、修订号和当前语料指纹；失败回滚，保留旧版本。目录变化后旧指针仍可追溯，但 is_current=false，不可据此绕过正式审核。历史快照不会被改写。接口均限管理员并沿用 Cookie/CSRF，完整边界见 [INDEX_API.md](INDEX_API.md)。
 
 这只是后续索引的文本版本基础，关键词基线行为不变；没有生成向量或宣称已实现 ANN/混合检索。同步构建和全局写锁面向当前有限语料，后续异步/增量发布须重新设计并验证并发协议。
+
+
+## 向量与 RRF 检索（T07）
+
+文本发布之后，固定 Embedding 空间的完整向量快照通过独立代数发布，精确余弦检索只使用当前审核与发布版本。编码在发布锁外进行，完成后重新核对语料、空间及发布状态，失败保留旧版本。运行与空间身份见 [VECTOR_API.md](VECTOR_API.md)。
+
+新增 chunk 正文 BM25 与等权 RRF；两路限定同一文本/向量快照和分类，固定 k=60，先各取 candidate_k 再融合。保存完整候选排名、原始分数、贡献、切分/分词/BM25/模型配置及出处。旧条目关键词模式保留，评测不能混同两种证据单元。两路排序至检索记录写入共用当前性锁，面向最多 2000 chunks 的同步精确计算。字段、失败及回滚边界见 [HYBRID_API.md](HYBRID_API.md)。RAG、ANN 与真实领域质量验收仍待后续阶段。

docs/DECISIONS.md

@@ -42,3 +42,10 @@
 状态：T05 分支实现，待审阅。先对当前有效审核语料构建带原文偏移/哈希/出处的 chunks，再以独立的发布请求切换指针。固定 Unicode 字符窗口配置留存在版本中，关键词接口继续按条目运行，防止未经评估就改变实验口径。
 
 为当前小规模语料选择统一数据库行锁：应用目录写入、构建、发布串行，发布同时校验代数、目录修订和语料指纹；失败回滚全部更新，旧版本保留为历史。任何成功目录写入保守地使旧索引过期，历史不能视作当前有效依据。实现、容量与后续并发扩展边界见 [INDEX_API.md](INDEX_API.md)。
+
+
+## ADR-011 同粒度 chunk 排序与等权 RRF
+
+状态：后端分支实现，待审阅。基于已合入的向量快照，新增正文 BM25 的 chunk 基线，与向量模式使用同一文本发布及分类范围；保留条目关键词接口作为独立口径。两路候选各限 candidate_k，使用从 1 起的排名、固定 k=60、等权倒数排名融合，缺席一路贡献为零。保存候选全排名、原始分数、两路贡献和配置，确保实验准备可复核；不把 BM25 与余弦原始分数直接相加。
+
+公式与常数参考 [RRF 原论文](https://cormack.uwaterloo.ca/cormacksigir09-rrf.pdf)，本项目尚未依据核验领域问题集调优。同步精确计算限制 2000 chunks，固定配置、版本一致性、历史兼容与回滚见 [HYBRID_API.md](HYBRID_API.md)。

docs/HYBRID_API.md

@@ -0,0 +1,67 @@
+# Chunk 关键词与 RRF 混合检索
+
+本阶段基于已合入 `dev` 的文本/向量发布，增加可独立调用的 chunk BM25 和 RRF。既有条目关键词接口继续保留。三个 chunk 模式使用相同的当前文本版本、原文 chunk 与分类范围；比较时应固定发布版本、分类和 `top_k`，同时记录混合检索的 `candidate_k`。
+
+| 接口 | 请求 mode | 排序/证据单元 | 前置条件 |
+|---|---|---|---|
+| `POST /api/retrieval` | `keyword` | 知识条目，标题权重 2、正文权重 1 | 当前有效审核语料 |
+| `POST /api/retrieval/chunks` | `keyword_chunks` | chunk 正文 BM25，标题不参与打分 | 当前有效文本发布；无需模型或向量发布 |
+| `POST /api/retrieval/vector` | `vector` | chunk 精确余弦 | 当前有效文本/向量发布，运行模型空间匹配 |
+| `POST /api/retrieval/hybrid` | `hybrid` | 同一批 chunk 的两路 RRF | 与向量模式相同 |
+
+`mode` 可省略，由接口固定；传入其他模式或未知字段返回 422。公开检索无需登录；历史分页及详情继续限管理员。问答接口仍为占位，当前响应不生成 LLM 答案。
+
+## 请求与排名
+
+```json
+{"query":"合成资料中的交通查询入口","mode":"hybrid","top_k":5,"candidate_k":50,"category":"交通"}
+```
+
+- `query` 去除首尾空白后 1–500 字符，`top_k` 默认 5、范围 1–20，`category` 可省略。chunk 关键词请求不接收 `candidate_k`。
+- 混合检索每路最多取 `candidate_k` 条候选，默认 50、范围 1–200，并须不小于 `top_k`。这是固定排名后的候选截断，不会改变文本或输入 token。最终从候选并集返回最多 `top_k` 条。
+- chunk BM25 只对正文分词。沿用固定 Jieba 0.42.1 搜索分词、NFKC/casefold、HMM 关闭、项目词与 `zh-small-v1` 停用词表；查询词去重，`k1=1.2`、`b=0.75`，正值平滑 IDF。语料长度和词频在分类过滤后的全部 chunks 上计算，只将正分候选纳入关键词一路。标题仅作为出处字段。
+- 向量一路复用精确余弦排序，同样先按分类筛选，不设置相似度阈值。负分和零分仍可能进入候选，分数不是事实置信度，`status=ok` 只表示存在排序结果。
+- 两路先按各自原始分数排序；同分按 `knowledge_id, chunk_ordinal, chunk_id` 升序，排名从 1 开始。RRF 使用等权、固定 `k=60`：`score(c) = sum(1 / (60 + rank_leg(c)))`。不在某路候选列表中的 chunk，该路贡献为 0。原始 BM25 和余弦分数不直接相加；融合分数同分沿用相同 ID 次序。排序与日志使用未预先四舍五入的分数。
+- 融合以 chunk ID 去重。同一知识的不同片段（含重叠片段）保留各自排名和原文偏移，不做条目折叠或多样性重排。条目基线与 chunk 模式的分数、命中数、语料数及评测单元不同，不能直接混算指标。
+
+RRF 方法与常数参考 [Cormack、Clarke、Büttcher，SIGIR 2009 原论文](https://cormack.uwaterloo.ca/cormacksigir09-rrf.pdf)。这里把 `k=60` 作为首版可复现配置，并未通过本项目领域问题集调优。
+
+## 响应与复核
+
+全部模式保留原文、字符偏移（左闭右开）、知识/文档/来源 ID 及版本、URL、排名与耗时。chunk 关键词和混合响应另含：
+
+| 字段 | 含义 |
+|---|---|
+| `mode` | `keyword_chunks` 或 `hybrid`，可用于历史类型判别 |
+| `text_index_version_id`, `text_generation`, `catalog_revision` | 本次文本发布和目录修订 |
+| `corpus_fingerprint` | 整份已审核语料的指纹，分类筛选不改变它 |
+| `corpus_size` | 分类范围内参与两路打分的 chunk 数 |
+| `total_hits` | 关键词模式为全部正分 chunk 数；混合模式为两路截断后的候选并集大小，可能大于返回条数 |
+| `query_terms`, `config.lexical`, `config.chunking`, `config.tie_break` | 实际分词、BM25 参数、切分配置、稳定排序规则 |
+| `elapsed_ms` | 语料检查、模型编码（混合模式）、排序及响应组装耗时；不含记录写入及网络时间 |
+
+混合模式还保存：
+
+- `vector_version_id`、`generation`：向量发布版本与代数；`config.space` 包含完整模型 revision、维度、token 预算、指令、实现/池化/归一化与权重格式身份；与向量契约一致。
+- `config.rrf_k/weights/candidate_k/vector_scorer`：融合与候选预算，不允许请求覆盖固定算法参数。
+- `lexical_candidates/vector_candidates`：两路完整的截断候选列表，每条为 `chunk_id/rank/score`，即使未进最终前 `top_k` 也保留。
+- `lexical_total_hits/vector_total_hits`：截断前正分关键词候选数、分类范围内向量候选总数。
+- 命中的 `lexical_rank/lexical_score/vector_rank/vector_score` 和两路 `*_contribution`：缺席的排名/原始分数为 `null`、贡献为 0。`score` 等于两路贡献之和。
+
+结果完整写入现有 `retrieval_runs`，历史接口联合类型支持四种 mode，不需要新增迁移，当前 Schema 仍为 `0006_vectors`。修改依据后历史保持原样，只代表当时快照；重查须通过当前性验证。原始查询和运行记录属于数据库数据，不应提交到仓库。
+
+## 一致性、失败与容量
+
+混合检索先检查发布版本与模型空间，然后提交只读事务释放发布锁，再真实编码查询；编码后重新获取目录/向量状态锁，复核目录修订、文本/向量代数、审核指纹、实际 chunks、完整向量集及空间身份。变化时 409，且不保存部分结果。两路排名及写入检索历史在同一个受锁保护的事务内完成。
+
+关键词一路没有命中或没有分词时，混合模式明确保留空候选列表，可仅有向量一路；纯关键词模式没有可检索词则 422。分类无资料或空的有效发布返回 `no_evidence`。模型 token 超限/输出校验失败返回 422，运行环境不可用或编码忙返回 503；模型失败不降级成一份声称成功的混合结果。
+
+两种新接口均沿用向量阶段最多 2000 chunks、5000 条知识/200 万字符的整体核验预算，超限明确 503。只在分类范围内打分，但当前性及容量检查针对整份发布。文本快照允许的 20000 chunks 不等同于本接口容量。同步精确排序及 BM25 在锁内运行，会短暂串行化目录写入；当前没有 ANN、后台队列或生产吞吐量结论。
+
+运行依赖、固定缓存、默认关闭的本地模型、构建/发布步骤见 [VECTOR_API.md](VECTOR_API.md)。前端新增 `services/hybrid.ts` 两个调用及历史类型；模式切换页面、Docker/浏览器端和真实领域验收仍待交接。
+
+## 验证与回滚
+
+轻量测试使用明确的合成正文及坐标 fixture，覆盖手算 BM25/RRF、原始分数与融合的独立性、候选边界、两路缺席、稳定排序、chunk 偏移、分类、权限、历史、失效/破坏快照、编码期间版本竞争、无部分日志及容量拒绝。真实模型专项沿用 `test_vector_runtime.py` 的显式 opt-in，增加固定 BGE small 的 HTTP 混合检索和进程重启后的两路排名/历史复核。运行命令见 [VECTOR_API.md](VECTOR_API.md)。这些用例验证实际模型/数据库/API 贯通，合成问题不代表领域质量或论文实验结论。
+
+撤回本功能代码即可撤回两个新增接口；数据库无需降级。旧后端历史响应模型不认识 `keyword_chunks/hybrid`，回滚时应限制旧历史端点或先以备份保留新模式记录，避免把新记录交给旧模型解析；不要为回滚而无备份删除检索历史。

docs/TASKS.md

@@ -70,3 +70,12 @@
 - 管理接口统一要求 admin 与写入 CSRF；前端只同步类型和调用层，页面仍待联调。现有关键词基线行为不变，向量、ANN、RRF 与 RAG 未在本阶段实现。
 - 实际验证：`ruff check .`、`ruff format --check .` 通过；`pytest -q` **91 passed**（隔离 PostgreSQL 16 + pgvector），包含真实锁竞争、失败构建/发布的数据库约束回滚、迁移保留账号/知识/检索记录、原文重建与来源快照、真实 HTTP 重启后的发布指针和 chunks 持久化。修正了发布时间在 UTC 与数据库时区之间表示不一致的问题，索引接口统一 UTC 输出。前端 `npm run build` 通过。
 - 完整请求/响应、切分/容量、失效策略及回滚说明见 [INDEX_API.md](INDEX_API.md)。本阶段仍是有限语料的同步文本快照；Docker/浏览器验收、独立 T05 Issue 补建及后续 Embedding 方案选择仍有待完成。
+
+
+## 2026-10-16 T07：合并后的 RRF 混合检索
+
+- 本地模型评估和向量持久化/精确检索分别经 PR #11/#13 合入 `dev`；#9/#10 是被替代的旧 AGit 入口。读取已确认合并结果后，从最新 `dev` 创建 `feat/backend-rrf-retrieval`，遵循每阶段 PR 合并后才开发下一阶段。
+- 新增公开 chunk 正文 BM25 与 RRF 接口，三种 chunk 模式限定同一文本快照及分类；原条目关键词接口保留独立口径。固定 k=60、等权、每路候选预算，记录两路完整候选排名/原始分数、贡献、模型空间、切分/BM25/分词参数与出处。前端仅同步调用与历史类型。
+- 模型编码在发布锁外，完成后重新检查审核语料、文本/向量代数与空间；两路排序和记录保存受同一事务保护。竞争、模型或写入失败不保存部分混合结果；2000 chunks 容量与原向量阶段一致。没有新增数据库迁移。完整字段、比较口径及回滚见 [HYBRID_API.md](HYBRID_API.md)。
+- 常规测试 `pytest -q` **180 passed, 1 skipped**（真实模型专项须显式启用）；新增 27 项覆盖手算排序/融合、候选截断/缺席/同分、相同粒度及分类、原文、历史、权限、编码期间锁释放和版本竞争、损坏/失效快照、失败回滚与容量。`ruff check`、`ruff format --check` 和前端 `npm run build` 通过。真实模型专项在独立 CPU 环境另执行 **1 passed**：固定 BGE small 经真实 HTTP 完成向量/混合/关键词 chunk 查询，进程重启后两路候选排名、结果和历史保持一致。首次专项请求因 candidate_k 小于默认 top_k 被按契约拒绝，修正测试请求后通过；未改变该输入约束。
+- Issue #5 本轮复查无新评论，后端实现已合入，前端登录/CSRF/角色页面及浏览器流程仍待交接；Docker 容器、核验领域语料/问题集、正式模型冻结与领域评测同样未验收。所有新增自动化资料均为合成测试，不作为文旅事实或论文分数。下一阶段须等待本轮 PR 真正合入 `dev`。