OurCodesAreAllRight/FilesReadSystem
4
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
74 Commits 1 Branch 0 Tags
51350e3002fcbd82f6e7224ce1ff4d9c181eee06
Commit Graph
18 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
shuisiziji 51350e3002 123 2026-04-14 17:35:40 +08:00
shuisizijiandClaude Opus 4.6 8e713be1ca Merge remote changes with RAG service optimization 
- Keep user's RAG service integration for faster extraction
- Add remote's word_ai_service support
- Preserve user's parallel extraction and field header optimizations

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-04-14 17:25:13 +08:00
shuisizijiandClaude Opus 4.6 a9dc0d8b91 优化智能填表功能：提升速度、完善数据提取精度 
后端优化 (template_fill_service.py):

1. 速度优化:
   - 使用 asyncio.gather 实现字段并行提取
   - 跳过 AI 审核步骤，减少 LLM 调用次数
   - 新增 _extract_single_field_fast 方法

2. 数据提取优化:
   - 集成 RAG 服务进行智能内容检索
   - 修复 Markdown 表格列匹配跳过空列
   - 修复年份子表头行误识别问题

3. AI 表头生成优化:
   - 精简为 5-7 个代表性字段（原来 8-15 个）
   - 过滤非数据字段（source、备注、说明等）
   - 简化字段名，如"医院数量"而非"医院-公立医院数量"

4. AI 数据提取 prompt 优化:
   - 严格按表头提取，只返回相关数据
   - 每个值必须带标注（年份/地区/分类）
   - 支持多种标注类型：2024年、北京、某省、公立医院、三级医院等
   - 保留原始数值、单位和百分号格式
   - 不返回大段来源说明

5. FillResult 新增 warning 字段:
   - 多值检测提示，如"检测到 2 个值"

前端优化 (TemplateFill.tsx):
- 填写详情显示多值警告（黄色提示框）
- 多值情况下直接显示所有值

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-04-14 17:14:59 +08:00
shuisiziji 6befc510d8 刷新的debug 2026-04-10 00:23:23 +08:00
shuisiziji 8f66c235fa 实现并行多文件上传的功能并且在列表显示上传了哪些文件，支持多次上传 2026-04-10 00:16:28 +08:00
shuisizijiandClaude Opus 4.6 610d475ce0 新增从文档中心选择源文档功能及删除功能 
智能填表模块新增"从文档中心选择"模式，支持选择已上传的文档作为数据源，
同时支持从列表中删除文档。两种模式通过Tab切换。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-04-09 22:35:13 +08:00
shuisizijiandClaude Opus 4.6 496b96508d 修复Excel解析和智能填表功能 
- 增强Excel解析器支持多种命名空间和路径格式，解决英文表头Excel无法读取问题
- 当MongoDB中structured_data为空时，尝试用file_path重新解析文件
- 改进AI分析提示词，明确要求返回纯数值不要单位
- 修复max_tokens值(5000→4000)避免DeepSeek API报错

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-04-09 22:21:51 +08:00
shuisiziji 07ebdc09bc Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem 2026-04-09 22:18:12 +08:00
shuisiziji c1886fb68f Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem 2026-04-09 21:42:14 +08:00
shuisizijiandClaude Opus 4.6 78417c898a 改进智能填表功能：支持Markdown表格提取和修复LLM调用 
- 新增对MongoDB存储的tables格式支持，直接从structured_data.tables提取数据
- 修复max_tokens值过大问题(50000→4000)，解决DeepSeek API限制
- 增强列名匹配算法，支持模糊匹配
- 添加详细日志便于调试结构化数据提取过程

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-04-09 21:42:07 +08:00
shuisiziji 718f864926 修改读取excel表时存在数字时浮点匹配生成不一致问题 2026-04-09 20:56:38 +08:00
shuisiziji df35105d16 解决合并冲突，保留以下改进： 
- 新增 _extract_values_from_structured_data 方法，直接从 Excel rows 提取列值
- 新增 _extract_values_by_regex 方法，使用正则从损坏的 JSON 中提取值
- 增大 max_tokens (500→50000) 和 max_length (8000→200000) 限制
- 改进 JSON 解析逻辑，处理 markdown 代码块包裹和不完整 JSON
 2026-04-09 19:37:10 +08:00
shuisiziji 2c2ab56d2d 修复智能填表功能：支持直接从结构化数据提取列值并完善JSON解析 
- 新增 _extract_values_from_structured_data 方法，直接从Excel rows提取列值
- 新增 _extract_values_by_regex 方法，使用正则从损坏的JSON中提取值
- 增大 max_tokens (500→50000) 和 max_length (8000→200000) 限制
- 改进JSON解析逻辑，处理markdown代码块包裹和不完整JSON
- 解决LLM返回被截断的JSON无法正确解析的问题
 2026-04-09 19:33:05 +08:00
shuisiziji faff1a5977 djh 2026-04-09 17:40:10 +08:00
shuisiziji c75eb26d60 Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem 2026-04-08 19:22:38 +08:00
shuisiziji fd435c7fd3 Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem 2026-04-08 19:17:05 +08:00
shuisiziji b9ca11efe5 重建 package.json 文件 2026-04-01 14:10:30 +08:00
shuisiziji 96f83042d8 测试git 2026-03-08 10:53:03 +08:00