51350e3002
123
2026-04-14 17:35:40 +08:00
8e713be1ca
Merge remote changes with RAG service optimization
...
- Keep user's RAG service integration for faster extraction
- Add remote's word_ai_service support
- Preserve user's parallel extraction and field header optimizations
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com >
2026-04-14 17:25:13 +08:00
a9dc0d8b91
优化智能填表功能：提升速度、完善数据提取精度
...
后端优化 (template_fill_service.py):
1. 速度优化:
- 使用 asyncio.gather 实现字段并行提取
- 跳过 AI 审核步骤，减少 LLM 调用次数
- 新增 _extract_single_field_fast 方法
2. 数据提取优化:
- 集成 RAG 服务进行智能内容检索
- 修复 Markdown 表格列匹配跳过空列
- 修复年份子表头行误识别问题
3. AI 表头生成优化:
- 精简为 5-7 个代表性字段（原来 8-15 个）
- 过滤非数据字段（source、备注、说明等）
- 简化字段名，如"医院数量"而非"医院-公立医院数量"
4. AI 数据提取 prompt 优化:
- 严格按表头提取，只返回相关数据
- 每个值必须带标注（年份/地区/分类）
- 支持多种标注类型：2024年、北京、某省、公立医院、三级医院等
- 保留原始数值、单位和百分号格式
- 不返回大段来源说明
5. FillResult 新增 warning 字段:
- 多值检测提示，如"检测到 2 个值"
前端优化 (TemplateFill.tsx):
- 填写详情显示多值警告（黄色提示框）
- 多值情况下直接显示所有值
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com >
2026-04-14 17:14:59 +08:00
5b82d40be0
Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem
2026-04-10 10:10:41 +08:00
bedf1af9c0
增强 Word 文档 AI 解析和模板填充功能
2026-04-10 09:48:57 +08:00
0dbf74db9d
添加任务ID跟踪功能到模板填充接口
...
- 在FillRequest中添加可选的task_id字段，用于任务历史跟踪
- 实现任务状态管理，包括创建、更新和错误处理
- 集成MongoDB任务记录功能，在处理过程中更新进度
- 添加任务进度更新逻辑，支持开始、处理中、成功和失败状态
- 修改模板填充服务以接收并传递task_id参数
2026-04-10 01:27:26 +08:00
858b594171
添加任务状态双写机制和历史记录功能
...
- 实现任务状态同时写入Redis和MongoDB的双写机制
- 添加MongoDB任务集合及CRUD操作接口
- 新增任务历史记录查询、列表展示和删除功能
- 重构任务状态更新逻辑，统一使用update_task_status函数
- 添加模板填服务中AI审核字段值的功能
- 优化前端任务历史页面显示和交互体验
2026-04-10 01:15:53 +08:00
ecc0c79475
增强模板填写服务支持表格内容摘要和表头重生成
...
- 在源文档解析过程中增加表格内容摘要功能，提取表格结构用于AI理解
- 新增表格摘要逻辑，包括表头和前3行数据的提取和格式化
- 添加模板文件类型识别，支持xlsx和docx格式判断
- 实现基于源文档内容的表头自动重生成功能
- 当检测到自动生成的表头时，使用源文档内容重新生成更准确的字段
- 增加详细的调试日志用于跟踪表格处理过程
2026-04-10 00:26:54 +08:00
886d5ae0cc
Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem
2026-04-09 22:44:01 +08:00
6752c5c231
优化联合模板上传逻辑支持源文档内容解析
...
- 移除模板文件字段提取步骤，改为直接保存模板文件
- 新增源文档解析功能，提取文档内容、标题和表格数量信息
- 修改模板填充服务，支持传入源文档内容用于AI表头生成
- 更新AI表头生成逻辑，基于源文档内容智能生成合适的表头字段
- 增强日志记录，显示源文档数量和处理进度
2026-04-09 22:43:51 +08:00
496b96508d
修复Excel解析和智能填表功能
...
- 增强Excel解析器支持多种命名空间和路径格式，解决英文表头Excel无法读取问题
- 当MongoDB中structured_data为空时，尝试用file_path重新解析文件
- 改进AI分析提示词，明确要求返回纯数值不要单位
- 修复max_tokens值(5000→4000)避免DeepSeek API报错
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com >
2026-04-09 22:21:51 +08:00
07ebdc09bc
Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem
2026-04-09 22:18:12 +08:00
7f67fa89de
添加AI生成表头功能并重构前端状态管理
...
- 后端：实现AI生成表头逻辑，当模板为空或字段为自动生成时调用AI分析并生成合适字段
- 后端：添加_is_auto_generated_field方法识别自动生成的无效表头字段
- 后端：修改_get_template_fields_from_excel方法支持文件类型参数
- 前端：创建TemplateFillContext提供全局状态管理
- 前端：将TemplateFill页面状态迁移到Context中统一管理
- 前端：移除页面内重复的状态定义和方法实现
2026-04-09 22:15:37 +08:00
c1886fb68f
Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem
2026-04-09 21:42:14 +08:00
78417c898a
改进智能填表功能：支持Markdown表格提取和修复LLM调用
...
- 新增对MongoDB存储的tables格式支持，直接从structured_data.tables提取数据
- 修复max_tokens值过大问题(50000→4000)，解决DeepSeek API限制
- 增强列名匹配算法，支持模糊匹配
- 添加详细日志便于调试结构化数据提取过程
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com >
2026-04-09 21:42:07 +08:00
d5df5b8283
增强模板填充服务支持非结构化文档AI分析
...
- 引入markdown_ai_service服务支持Markdown文档处理
- 实现_nonstructured_docs_for_fields方法对非结构化文档进行AI分析
- 优化LLM提示词，改进数据提取的准确性和格式规范
- 支持从Markdown表格格式{tables: [{headers: [...], rows: [...]}]}中提取数据
- 添加文档章节结构解析，提升上下文理解能力
- 增加JSON响应格式修复功能，提高数据解析成功率
2026-04-09 21:00:31 +08:00
718f864926
修改读取excel表时存在数字时浮点匹配生成不一致问题
2026-04-09 20:56:38 +08:00
2c2ab56d2d
修复智能填表功能：支持直接从结构化数据提取列值并完善JSON解析
...
- 新增 _extract_values_from_structured_data 方法，直接从Excel rows提取列值
- 新增 _extract_values_by_regex 方法，使用正则从损坏的JSON中提取值
- 增大 max_tokens (500→50000) 和 max_length (8000→200000) 限制
- 改进JSON解析逻辑，处理markdown代码块包裹和不完整JSON
- 解决LLM返回被截断的JSON无法正确解析的问题
2026-04-09 19:33:05 +08:00
38e41c6eff
zyh
2026-04-08 20:23:51 +08:00
5bcad4a5fa
添加其他格式文档的解析
2026-03-26 23:14:39 +08:00
