OurCodesAreAllRight/FilesReadSystem
4
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
88 Commits 1 Branch 0 Tags
d2e3c2db3ef73ecec5ad0d50e003f6efbf8fab44
Commit Graph
49 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
admin d2e3c2db3e 添加 Docker 部署支持和环境变量配置 
添加了完整的 Docker 部署方案，包括：
- 创建 .env.example 环境变量配置模板文件
- 新增 docker-compose.yml 用于全栈服务编排
- 为前后端分别创建 Dockerfile 实现容器化部署
- 添加 nginx.conf 配置前端反向代理
- 在 README.md 中详细说明 Docker 部署流程
- 集成 Celery 任务队列支持异步处理
- 配置多数据库服务 (MongoDB, MySQL, Redis) 的连接
- 实现健康检查和服务依赖管理
 2026-04-21 20:39:12 +08:00
admin c2f50d3bd8 支持从数据库读取文档进行AI分析 
新增 doc_id 参数支持从数据库读取文档内容，同时保留文件上传功能，
实现两种方式的灵活切换。修改了 Markdown、TXT 和 Word 文档的分析接口，
添加从数据库获取文档的逻辑，并相应更新前端 API 调用。

BREAKING CHANGE: 分析接口现在支持文件上传和数据库文档 ID 两种方式
 2026-04-16 19:43:43 +08:00
admin 2adf9aef60 添加 TXT 和 Word 文件 AI 分析功能支持图表生成 
- 新增 txt_ai_service 服务，支持 TXT 文件的结构化数据提取和图表生成
- 为 Word 分析添加图表生成功能，扩展 word_ai_service.generate_charts 方法
- 在前端添加 TXT 和 Word AI 分析界面，支持 structured 和 charts 两种分析模式
- 更新后端 API 接口，添加 analysis_type 参数控制分析类型
- 优化分析结果显示逻辑，区分结构化数据和图表结果展示
 2026-04-16 10:02:18 +08:00
admin 47c89d888f 添加项目详细文档 
添加完整的 README.md 文件，包含以下内容：
- 项目介绍（中英文对照）
- 技术栈说明（后端、前端、数据库、缓存等）
- 项目架构图
- 目录结构说明
- 主要功能特性
- API 接口列表
- 环境配置指南
- 启动项目说明
- 配置说明
- 许可证信息

删除根目录下无用的 package.json 文件
 2026-04-14 21:16:40 +08:00
admin 6701df613b 支持多格式模板填写和文档解析优化 
- 实现 Word 文档表格模板解析功能，支持从 .docx 文件中提取字段定义
- 新增源文档字段提示词(hint)功能，提升数据提取准确性
- 支持多种方式指定源文档：MongoDB 文档 ID 列表或文件路径列表
- 增强模板字段类型推断机制，支持从提示词和示例值自动识别
- 实现 Excel 和 Word 格式导出功能，提供多种导出选项
- 重构模板填写服务，优化上下文构建和文档加载逻辑
- 更新前端 API 接口，支持传递源文档参数和字段提示词
-
 2026-04-14 21:16:08 +08:00
admin 5fca4eb094 添加临时文件清理异常处理和修改大纲接口为POST方法 
- 在analyze_markdown、analyze_markdown_stream和get_markdown_outline函数中添加了
  try-catch块来处理临时文件清理过程中的异常
- 将/analyze/md/outline接口从GET方法改为POST方法以支持文件上传
- 确保在所有情况下都能正确清理临时文件，并记录清理失败的日志

refactor(health): 改进健康检查逻辑验证实际数据库连接

- 修改MySQL健康检查，实际执行SELECT 1查询来验证连接
- 修改MongoDB健康检查，执行ping命令来验证连接
- 修改Redis健康检查，执行ping命令来验证连接
- 添加异常捕获并记录具体的错误日志

refactor(upload): 使用os.path.basename优化文件名提取

- 替换手动字符串分割为os.path.basename来获取文件名
- 统一Excel上传和导出中文件名的处理方式

feat(instruction): 新增指令执行框架模块

- 创建instruction包包含意图解析和指令执行的基础架构
- 添加IntentParser和InstructionExecutor抽象基类
- 提供默认实现但标记为未完成，为未来功能扩展做准备

refactor(frontend): 调整AuthContext导入路径并移除重复文件

- 将AuthContext从src/context移动到src/contexts目录
- 更新App.tsx和RouteGuard.tsx中的导入路径
- 移除旧的AuthContext.tsx文件

fix(backend-api): 修复AI分析API的HTTP方法错误

- 将aiApi中的fetch请求方法从GET改为POST以支持文件上传
 2026-04-10 01:51:53 +08:00
admin 0dbf74db9d 添加任务ID跟踪功能到模板填充接口 
- 在FillRequest中添加可选的task_id字段，用于任务历史跟踪
- 实现任务状态管理，包括创建、更新和错误处理
- 集成MongoDB任务记录功能，在处理过程中更新进度
- 添加任务进度更新逻辑，支持开始、处理中、成功和失败状态
- 修改模板填充服务以接收并传递task_id参数
 2026-04-10 01:27:26 +08:00
admin 858b594171 添加任务状态双写机制和历史记录功能 
- 实现任务状态同时写入Redis和MongoDB的双写机制
- 添加MongoDB任务集合及CRUD操作接口
- 新增任务历史记录查询、列表展示和删除功能
- 重构任务状态更新逻辑，统一使用update_task_status函数
- 添加模板填服务中AI审核字段值的功能
- 优化前端任务历史页面显示和交互体验
 2026-04-10 01:15:53 +08:00
admin ed0f51f2a4 Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem 2026-04-10 00:26:57 +08:00
admin ecc0c79475 增强模板填写服务支持表格内容摘要和表头重生成 
- 在源文档解析过程中增加表格内容摘要功能，提取表格结构用于AI理解
- 新增表格摘要逻辑，包括表头和前3行数据的提取和格式化
- 添加模板文件类型识别，支持xlsx和docx格式判断
- 实现基于源文档内容的表头自动重生成功能
- 当检测到自动生成的表头时，使用源文档内容重新生成更准确的字段
- 增加详细的调试日志用于跟踪表格处理过程
 2026-04-10 00:26:54 +08:00
admin 886d5ae0cc Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem 2026-04-09 22:44:01 +08:00
admin 6752c5c231 优化联合模板上传逻辑支持源文档内容解析 
- 移除模板文件字段提取步骤，改为直接保存模板文件
- 新增源文档解析功能，提取文档内容、标题和表格数量信息
- 修改模板填充服务，支持传入源文档内容用于AI表头生成
- 更新AI表头生成逻辑，基于源文档内容智能生成合适的表头字段
- 增强日志记录，显示源文档数量和处理进度
 2026-04-09 22:43:51 +08:00
admin 7f67fa89de 添加AI生成表头功能并重构前端状态管理 
- 后端：实现AI生成表头逻辑，当模板为空或字段为自动生成时调用AI分析并生成合适字段
- 后端：添加_is_auto_generated_field方法识别自动生成的无效表头字段
- 后端：修改_get_template_fields_from_excel方法支持文件类型参数
- 前端：创建TemplateFillContext提供全局状态管理
- 前端：将TemplateFill页面状态迁移到Context中统一管理
- 前端：移除页面内重复的状态定义和方法实现
 2026-04-09 22:15:37 +08:00
admin d5df5b8283 增强模板填充服务支持非结构化文档AI分析 
- 引入markdown_ai_service服务支持Markdown文档处理
- 实现_nonstructured_docs_for_fields方法对非结构化文档进行AI分析
- 优化LLM提示词，改进数据提取的准确性和格式规范
- 支持从Markdown表格格式{tables: [{headers: [...], rows: [...]}]}中提取数据
- 添加文档章节结构解析，提升上下文理解能力
- 增加JSON响应格式修复功能，提高数据解析成功率
 2026-04-09 21:00:31 +08:00
admin e5711b3f05 新增联合上传模板和源文档功能 
新增 upload-joint 接口支持模板文件和源文档的一键式联合上传处理，
包括异步文档解析和MongoDB存储功能；前端新增对应API调用方法和UI界
面，优化表格填写流程，支持拖拽上传和实时预览功能。
 2026-04-09 20:35:41 +08:00
admin 6f8976cf71 Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem 2026-04-08 19:59:56 +08:00
admin 44d389a434 临时禁用RAG服务并添加日志记录 
- 在RAGService中添加_disabled标志，临时禁用所有RAG功能
- 添加详细的日志记录，便于调试和监控被跳过的操作
- 在TableRAGService中同样添加禁用机制，避免索引构建

refactor(file): 更新.gitignore忽略日志目录

- 添加**/logs/到.gitignore文件中

docs(plan): 添加比赛备赛规划文档

- 创建完整的比赛备赛规划文档，包含功能清单和待办事项
- 记录已完成功能和核心缺失模块，便于项目跟踪

chore(excel): 添加Q&A参考文件

- 添加Q&A.xlsx作为参考文档，包含比赛相关问题解答
 2026-04-08 19:59:41 +08:00
admin 3b82103e87 添加XML回退解析机制支持复杂Excel文件 
当pandas无法解析某些包含非标准元素的Excel文件时，
添加了XML直接解析功能来提取工作表名称和数据。

- 实现了`_extract_sheet_names_from_xml`方法从XML提取工作表名称
- 实现了`_read_excel_sheet_xml`方法直接解析Excel XML数据
- 添加多种命名空间支持以处理不同Excel格式
- 在pandas解析失败时自动回退到XML解析方式

fix(excel-storage-service): 修复XML解析中的命名空间问题

改进了XML解析逻辑，添加对多种命名空间的支持，
使用通配符查找元素以兼容不同Excel文件格式。

refactor(table-rag-service): 优化XML解析逻辑提高兼容性

统一了XML解析的命名空间处理方式，
改进了元素查找逻辑以更好地支持不同Excel格式。

feat(frontend): 添加RAG向量检索和索引重建功能

- 实现了RAG状态查看、搜索和索引重建接口
- 添加了前端RAG检索界面组件
- 增加了错误处理和加载状态提示
 2026-04-08 19:21:40 +08:00
admin 41e5eaaa2d feat(markdown-ai): 添加可视化图表生成功能 
- 新增 charts 分析类型，支持从文档中提取数据并生成可视化图表
- 集成 visualization_service 服务进行数据分析和图表生成
- 扩展 MarkdownAIService 支持 JSON 解析和图表数据处理
- 添加 _parse_chart_json 方法处理 LLM 返回的 JSON 数据
- 更新 API 接口定义支持 chart_data 返回字段
- 在前端界面添加图表分析选项和对应图标显示
- 修复 ExcelStorageService 中 id 列名为 MySQL 保留字的问题
 2026-04-02 13:28:39 +08:00
admin 7c19e49988 feat(excel): 添加对特殊Excel文件的XML解析支持 
添加了从Excel文件XML直接解析工作表名称和数据的功能，
以支持pandas无法正确解析的特殊格式Excel文件。
同时更新了.gitignore文件，添加了更多忽略规则。
修复了markdown AI服务中的正则表达式模式匹配问题。
 2026-04-02 13:19:00 +08:00
admin d189ea9620 feat(ai-analyze): 新增 Markdown 文件 AI 分析功能 
- 添加 Markdown 文件上传和解析接口
- 实现流式分析和大纲提取功能
- 支持多种分析类型：摘要、大纲、关键点等
- 新增 markdown_ai_service 服务类
- 扩展 LLMService 支持流式调用
- 更新前端 API 接口定义和实现
 2026-04-02 11:53:12 +08:00
admin ddf30078f0 feat(tasks): 优化任务状态查询接口 
当Redis中找不到任务状态时，不再抛出404异常，而是返回任务已完成的状态，
避免前端轮询时出现错误。这样可以确保文档处理完成后前端能正确显示结果。
 2026-04-02 11:16:14 +08:00
admin 1a54d40e01 ``` 
feat(excel_storage_service): 改进Excel数据类型检测逻辑

移除了空值进行类型检查，避免空数据导致的错误判断。对于整数类型，
增加了范围检查以确保数值在INT范围内；对于浮点数类型，增加了
范围验证以确保数值在有效范围内。超出范围的数值将被标记为TEXT类型，
提高数据类型的准确性。
```
 2026-04-02 10:44:13 +08:00
admin ec4759512d ``` 
feat(database): 为MySQL服务添加text函数导入支持

添加了SQLAlchemy的text函数导入，用于支持原始SQL查询操作，
增强数据库交互的灵活性和兼容性。

---

feat(excel): 改进Excel存储服务的列名处理机制

优化了列名清理逻辑，支持UTF8编码包括中文字符，实现唯一列名
生成机制，防止列名冲突。同时切换到pymysql直接插入方式，
提升批量数据插入性能并解决SQLAlchemy异步问题。

---

fix(rag): 改进RAG服务嵌入模型加载策略

当嵌入模型加载失败时，采用更稳健的降级策略，使用简化模式
运行RAG服务而非完全失败，确保系统核心功能可用性。
```
 2026-04-02 03:39:00 +08:00
admin 8e1ddb8aff ``` 
feat(config): 添加RAG/Embedding配置选项

- 新增EMBEDDING_MODEL配置项，默认值为"all-MiniLM-L6-v2"
- 用于支持RAG服务的嵌入模型配置

feat(database): 增强MySQL数据库初始化功能

- 实现数据库自动创建功能，若数据库不存在则自动创建
- 使用临时连接在不指定数据库的情况下执行CREATE DATABASE语句
- 支持utf8mb4字符集和排序规则设置

refactor(excel): 优化Excel表创建逻辑

- 将表创建方式从ORM模型改为原生SQL语句
- 提高异步操作的兼容性
- 增加自动时间戳字段(created_at, updated_at)

feat(rag): 增强RAG服务嵌入模型错误处理

- 添加嵌入模型加载异常处理机制
- 当配置的模型加载失败时自动回退到默认模型
- 改进日志记录，提供更详细的初始化信息
```
 2026-04-02 02:42:03 +08:00
admin 8b12cb9322 完成本地日志构建 2026-04-01 22:53:51 +08:00
admin c122f1d63b 完善后端日志 2026-03-30 21:24:13 +08:00
admin 332f0f636d 完善前端页面 2026-03-27 02:55:06 +08:00
admin d494e78f70 修改前端 2026-03-27 02:02:15 +08:00
admin 091c9db0da 修改前端 2026-03-27 01:54:55 +08:00
admin 4e178477fe 更新后端 2026-03-27 01:40:48 +08:00
admin 7c88da9ab1 完善数据库调用 2026-03-27 00:06:17 +08:00
admin 6b88e971e8 后端完成异步和rag设置 2026-03-26 23:41:03 +08:00
admin 5bcad4a5fa 添加其他格式文档的解析 2026-03-26 23:14:39 +08:00
admin 4bdc3f9707 完成后端数据库连接配置 2026-03-26 19:49:40 +08:00
admin d3bdb17e87 修正仓库需要忽略的文件 2026-03-24 18:46:32 +08:00
admin eab5f88662 完成前后端基本架构和excel表的解析及统计图表的生成及导出 2026-03-19 07:17:44 +08:00
admin 2f630695ff 前后端基本架构和完全excel表的解析及统计图表的生成以及excel表的到出 2026-03-19 01:51:34 +08:00
admin c23b93bb70 配置前端Vue环境 2026-03-13 08:33:51 +08:00
admin 67e29d5800 配置前端Vue环境 2026-03-13 08:21:56 +08:00
admin 0b00e27dbd 配置前端vue环境 2026-03-13 00:28:41 +08:00
admin d8266e6d05 更新git相关配置 2026-03-08 12:10:10 +08:00
admin 249cb5f6fd Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem 2026-03-08 12:08:11 +08:00
admin b4a32748c5 更新git相关配置 2026-03-08 12:08:03 +08:00
admin 5241f68190 配置 API Key 环境变量，完成 FastAPI 基础配置 2026-02-24 21:07:05 +08:00
admin 9de6c935fa 配置 API Key 环境变量，完成 FastAPI 基础配置 2026-02-24 21:05:55 +08:00
admin 2302d005a1 测试链接云端MongoDB数据库 2026-02-24 13:56:34 +08:00
admin bbbb475e22 创建仓库和配置项目环境 2026-02-21 21:34:39 +08:00
admin 0486626a99 创建仓库 2026-02-21 20:09:03 +08:00