46 lines
3.5 KiB
Markdown
46 lines
3.5 KiB
Markdown
# 第二阶段补充验收工具
|
|
|
|
这些工具补充证据采集，不以生成报告代替验收。没有标注的录音不能计算准确率；连接测试通过也不等于 Provider 全协议通过。
|
|
|
|
## 本地开发启动与扩展恢复
|
|
|
|
在 backend 目录执行 `.venv/Scripts/python.exe scripts/dev-server.py`。热重载仅监听 app，ZIP 解压目录不触发重载。
|
|
|
|
扩展安装库为应用数据目录下的 extension-installations.sqlite3。重启恢复前校验包摘要；包缺失或变化不会沿用原权限启动，管理页显示恢复提示。重新安装前需检查文件和权限。ZIP 卸载仅清理由导入器登记的管理目录，从目录安装不会删除用户源码。
|
|
|
|
## 转写参考数据评分
|
|
|
|
参考与预测文件均为 UTF-8 JSON 数组，每条包含秒单位的 start、end、text、speaker。参考必须来自人工校对或获准标注集，不能把同一份模型输出复制为参考。
|
|
|
|
也支持应用作业 JSON 的 segments 数组以及原生 start_time / end_time 字段，时间单位仍为秒。
|
|
|
|
```json
|
|
[{"start": 0, "end": 2.5, "text": "你好 世界", "speaker": "speaker_A"}]
|
|
```
|
|
|
|
```powershell
|
|
.venv/Scripts/python.exe scripts/score-transcript.py reference.json hypothesis.json --output scores.json
|
|
```
|
|
|
|
报告只保存聚合分数，不保存正文。CER 做 NFC 归一化并忽略空白；WER 按空白分词，中文连续文本优先看 CER。大小写和标点保留。空参考拒绝评分；空文本分母显示 null，不冒充 0%。比较超过 2000 万单元时拒绝，需分成较短且分别人工标注的录音进行验收。
|
|
|
|
说话人评分按全时间轴、零 collar、包含重叠语音计算 DER，使用一对一最优说话人映射，不要求预测编号与参考编号相同。最多 12 个说话人 ID；缺标签时不可用。该口径必须随结果保留，不能与不同 collar/UEM 规则的第三方分数直接比较。
|
|
|
|
脚本不设虚构达标阈值，quality_gate 固定 not_evaluated。阈值需在验收集和任务要求确定后另行批准。FAR/FRR 属于说话人验证专项，不能用这里的 DER 代替。当前 ASR 仍无逐字强制对齐和重叠分离，不因可对重叠参考评分就变成支持这些能力。
|
|
|
|
## Provider 专项证据
|
|
|
|
```powershell
|
|
.venv/Scripts/python.exe scripts/provider-acceptance.py --provider 已配置ID --model 已配置模型ID --output provider-plan.json
|
|
```
|
|
|
|
默认只生成待验收矩阵，不调用厂商。确认测试账号及可能费用后添加 `--execute`，经本地 AI Core 执行一次连接测试，不读取密钥，也不保存远端原始错误、请求头或响应正文。最多一次测试请求，不自动重试。
|
|
|
|
模型发现、工具往返、思考/正文流、取消、缓存命中/未命中、上下文限制、压缩仍逐项 pending，需要专门真实场景补证。overall 保持 not_accepted，禁止仅凭连接成功签署全部通过。当前用户录音无标注、各厂商专项未完整实测的状态保持不变。
|
|
|
|
## 浏览器回归
|
|
|
|
启动 frontend 后打开 `/tests/visual/mermaid-matrix.html`，使用真实 Mermaid 服务串行渲染 6 种图型 × 6 种内置/社区主题；顶部给出完成数和逐项结果。`?theme=paper-moments` 可单独检查该主题的最终外观。
|
|
|
|
该矩阵检查 SVG、可见尺寸、文本存在和错误；不把 DOM 文本存在当成所有字形都可见的截图结论。还需观察大图、缩放与窄屏。`/tests/visual/index.html?case=dialog` 用于弹窗内部滚动与焦点；主题预览样例涵盖输入、下拉、折叠、卡片、表格与代码。
|