OurCodesAreAllRight/FilesReadSystem
4
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
81 Commits 1 Branch 0 Tags
8e46e635f1a90770a020a9c01a3fa47d05839f32
Commit Graph
23 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
shuisiziji 8e46e635f1 rag日志改为info级 2026-04-16 19:59:56 +08:00
shuisiziji 827371cb90 Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem 2026-04-15 23:33:23 +08:00
shuisiziji e5d4724e82 【智能助手增强】 
- 新增对话历史管理：MongoDB新增conversations集合，存储用户与AI的对话上下文，支持多轮对话意图延续
- 新增对话历史API（conversation.py）：GET/DELETE conversation历史、列出所有会话
- 意图解析增强：支持基于对话历史的意图识别，上下文理解更准确
- 字段提取优化：支持"提取文档中的医院数量"等自然语言模式，智能去除"文档中的"前缀
- 文档对比优化：从指令中提取文件名并精确匹配source_docs，支持"对比A和B两个文档"
- 文档摘要优化：使用LLM生成真实AI摘要而非返回原始文档预览

【Word模板填表核心功能】
- Word模板字段生成：空白Word上传后，自动从源文档（Excel/Word/TXT/MD）内容AI生成字段名
- Word模板填表（_fill_docx）：将提取数据写入Word模板表格，支持精确匹配、模糊匹配、追加新行
- 数据润色（_polish_word_filled_data）：LLM对多行Excel数据进行统计归纳（合计/平均/极值），转化为专业自然语言描述
- 段落格式输出：使用📌字段名+值段落+分隔线（灰色横线）格式，提升可读性
- 导出链打通：fill_template返回filled_file_path，export直接返回已填好的Word文件

【其他修复】
- 修复Word导出Windows文件锁问题：NamedTemporaryFile改为mkstemp+close
- 修复Word方框非法字符：扩展clean_text移除\uFFFD、□等Unicode替代符和零宽字符
- 修复文档对比"需要至少2个文档"：从指令提取具体文件名优先匹配而非取前2个
- 修复导出format硬编码：自动识别docx/xlsx格式
- Docx解析器增加备用解析方法和更完整的段落/表格/标题提取
- RAG服务新增MySQL数据源支持
 2026-04-15 23:32:55 +08:00
shuisiziji 9e7f9df384 恢复智能填表服务到之前稳定版本 2026-04-15 00:14:05 +08:00
shuisiziji ecad9ccd82 feat: 实现智能指令的格式转换和文档编辑功能 
主要更新：
- 新增 transform 意图：支持 Word/Excel/Markdown 格式互转
- 新增 edit 意图：使用 LLM 润色编辑文档内容
- 智能指令接口增加异步执行模式（async_execute 参数）
- 修复 Word 模板导出文档损坏问题（改用临时文件方式）
- 优化 intent_parser 增加 transform/edit 关键词识别

新增文件：
- app/api/endpoints/instruction.py: 智能指令 API 端点
- app/services/multi_doc_reasoning_service.py: 多文档推理服务

其他优化：
- RAG 服务混合搜索（BM25 + 向量）融合
- 模板填充服务表头匹配增强
- Word AI 解析服务返回结构完善
- 前端 InstructionChat 组件对接真实 API
 2026-04-14 20:39:37 +08:00
shuisiziji 51350e3002 123 2026-04-14 17:35:40 +08:00
shuisizijiandClaude Opus 4.6 8e713be1ca Merge remote changes with RAG service optimization 
- Keep user's RAG service integration for faster extraction
- Add remote's word_ai_service support
- Preserve user's parallel extraction and field header optimizations

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-04-14 17:25:13 +08:00
shuisizijiandClaude Opus 4.6 a9dc0d8b91 优化智能填表功能：提升速度、完善数据提取精度 
后端优化 (template_fill_service.py):

1. 速度优化:
   - 使用 asyncio.gather 实现字段并行提取
   - 跳过 AI 审核步骤，减少 LLM 调用次数
   - 新增 _extract_single_field_fast 方法

2. 数据提取优化:
   - 集成 RAG 服务进行智能内容检索
   - 修复 Markdown 表格列匹配跳过空列
   - 修复年份子表头行误识别问题

3. AI 表头生成优化:
   - 精简为 5-7 个代表性字段（原来 8-15 个）
   - 过滤非数据字段（source、备注、说明等）
   - 简化字段名，如"医院数量"而非"医院-公立医院数量"

4. AI 数据提取 prompt 优化:
   - 严格按表头提取，只返回相关数据
   - 每个值必须带标注（年份/地区/分类）
   - 支持多种标注类型：2024年、北京、某省、公立医院、三级医院等
   - 保留原始数值、单位和百分号格式
   - 不返回大段来源说明

5. FillResult 新增 warning 字段:
   - 多值检测提示，如"检测到 2 个值"

前端优化 (TemplateFill.tsx):
- 填写详情显示多值警告（黄色提示框）
- 多值情况下直接显示所有值

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-04-14 17:14:59 +08:00
shuisiziji 6befc510d8 刷新的debug 2026-04-10 00:23:23 +08:00
shuisiziji 8f66c235fa 实现并行多文件上传的功能并且在列表显示上传了哪些文件，支持多次上传 2026-04-10 00:16:28 +08:00
shuisizijiandClaude Opus 4.6 610d475ce0 新增从文档中心选择源文档功能及删除功能 
智能填表模块新增"从文档中心选择"模式，支持选择已上传的文档作为数据源，
同时支持从列表中删除文档。两种模式通过Tab切换。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-04-09 22:35:13 +08:00
shuisizijiandClaude Opus 4.6 496b96508d 修复Excel解析和智能填表功能 
- 增强Excel解析器支持多种命名空间和路径格式，解决英文表头Excel无法读取问题
- 当MongoDB中structured_data为空时，尝试用file_path重新解析文件
- 改进AI分析提示词，明确要求返回纯数值不要单位
- 修复max_tokens值(5000→4000)避免DeepSeek API报错

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-04-09 22:21:51 +08:00
shuisiziji 07ebdc09bc Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem 2026-04-09 22:18:12 +08:00
shuisiziji c1886fb68f Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem 2026-04-09 21:42:14 +08:00
shuisizijiandClaude Opus 4.6 78417c898a 改进智能填表功能：支持Markdown表格提取和修复LLM调用 
- 新增对MongoDB存储的tables格式支持，直接从structured_data.tables提取数据
- 修复max_tokens值过大问题(50000→4000)，解决DeepSeek API限制
- 增强列名匹配算法，支持模糊匹配
- 添加详细日志便于调试结构化数据提取过程

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-04-09 21:42:07 +08:00
shuisiziji 718f864926 修改读取excel表时存在数字时浮点匹配生成不一致问题 2026-04-09 20:56:38 +08:00
shuisiziji df35105d16 解决合并冲突，保留以下改进： 
- 新增 _extract_values_from_structured_data 方法，直接从 Excel rows 提取列值
- 新增 _extract_values_by_regex 方法，使用正则从损坏的 JSON 中提取值
- 增大 max_tokens (500→50000) 和 max_length (8000→200000) 限制
- 改进 JSON 解析逻辑，处理 markdown 代码块包裹和不完整 JSON
 2026-04-09 19:37:10 +08:00
shuisiziji 2c2ab56d2d 修复智能填表功能：支持直接从结构化数据提取列值并完善JSON解析 
- 新增 _extract_values_from_structured_data 方法，直接从Excel rows提取列值
- 新增 _extract_values_by_regex 方法，使用正则从损坏的JSON中提取值
- 增大 max_tokens (500→50000) 和 max_length (8000→200000) 限制
- 改进JSON解析逻辑，处理markdown代码块包裹和不完整JSON
- 解决LLM返回被截断的JSON无法正确解析的问题
 2026-04-09 19:33:05 +08:00
shuisiziji faff1a5977 djh 2026-04-09 17:40:10 +08:00
shuisiziji c75eb26d60 Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem 2026-04-08 19:22:38 +08:00
shuisiziji fd435c7fd3 Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem 2026-04-08 19:17:05 +08:00
shuisiziji b9ca11efe5 重建 package.json 文件 2026-04-01 14:10:30 +08:00
shuisiziji 96f83042d8 测试git 2026-03-08 10:53:03 +08:00