Commit Graph

36 Commits

Author SHA1 Message Date
dj
fd435c7fd3 Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem 2026-04-08 19:17:05 +08:00
41e5eaaa2d feat(markdown-ai): 添加可视化图表生成功能
- 新增 charts 分析类型,支持从文档中提取数据并生成可视化图表
- 集成 visualization_service 服务进行数据分析和图表生成
- 扩展 MarkdownAIService 支持 JSON 解析和图表数据处理
- 添加 _parse_chart_json 方法处理 LLM 返回的 JSON 数据
- 更新 API 接口定义支持 chart_data 返回字段
- 在前端界面添加图表分析选项和对应图标显示
- 修复 ExcelStorageService 中 id 列名为 MySQL 保留字的问题
2026-04-02 13:28:39 +08:00
7c19e49988 feat(excel): 添加对特殊Excel文件的XML解析支持
添加了从Excel文件XML直接解析工作表名称和数据的功能,
以支持pandas无法正确解析的特殊格式Excel文件。
同时更新了.gitignore文件,添加了更多忽略规则。
修复了markdown AI服务中的正则表达式模式匹配问题。
2026-04-02 13:19:00 +08:00
d189ea9620 feat(ai-analyze): 新增 Markdown 文件 AI 分析功能
- 添加 Markdown 文件上传和解析接口
- 实现流式分析和大纲提取功能
- 支持多种分析类型:摘要、大纲、关键点等
- 新增 markdown_ai_service 服务类
- 扩展 LLMService 支持流式调用
- 更新前端 API 接口定义和实现
2026-04-02 11:53:12 +08:00
ddf30078f0 feat(tasks): 优化任务状态查询接口
当Redis中找不到任务状态时,不再抛出404异常,而是返回任务已完成的状态,
避免前端轮询时出现错误。这样可以确保文档处理完成后前端能正确显示结果。
2026-04-02 11:16:14 +08:00
1a54d40e01 ```
feat(excel_storage_service): 改进Excel数据类型检测逻辑

移除了空值进行类型检查,避免空数据导致的错误判断。对于整数类型,
增加了范围检查以确保数值在INT范围内;对于浮点数类型,增加了
范围验证以确保数值在有效范围内。超出范围的数值将被标记为TEXT类型,
提高数据类型的准确性。
```
2026-04-02 10:44:13 +08:00
ec4759512d ```
feat(database): 为MySQL服务添加text函数导入支持

添加了SQLAlchemy的text函数导入,用于支持原始SQL查询操作,
增强数据库交互的灵活性和兼容性。

---

feat(excel): 改进Excel存储服务的列名处理机制

优化了列名清理逻辑,支持UTF8编码包括中文字符,实现唯一列名
生成机制,防止列名冲突。同时切换到pymysql直接插入方式,
提升批量数据插入性能并解决SQLAlchemy异步问题。

---

fix(rag): 改进RAG服务嵌入模型加载策略

当嵌入模型加载失败时,采用更稳健的降级策略,使用简化模式
运行RAG服务而非完全失败,确保系统核心功能可用性。
```
2026-04-02 03:39:00 +08:00
8e1ddb8aff ```
feat(config): 添加RAG/Embedding配置选项

- 新增EMBEDDING_MODEL配置项,默认值为"all-MiniLM-L6-v2"
- 用于支持RAG服务的嵌入模型配置

feat(database): 增强MySQL数据库初始化功能

- 实现数据库自动创建功能,若数据库不存在则自动创建
- 使用临时连接在不指定数据库的情况下执行CREATE DATABASE语句
- 支持utf8mb4字符集和排序规则设置

refactor(excel): 优化Excel表创建逻辑

- 将表创建方式从ORM模型改为原生SQL语句
- 提高异步操作的兼容性
- 增加自动时间戳字段(created_at, updated_at)

feat(rag): 增强RAG服务嵌入模型错误处理

- 添加嵌入模型加载异常处理机制
- 当配置的模型加载失败时自动回退到默认模型
- 改进日志记录,提供更详细的初始化信息
```
2026-04-02 02:42:03 +08:00
8b12cb9322 完成本地日志构建 2026-04-01 22:53:51 +08:00
dj
b9ca11efe5 重建 package.json 文件 2026-04-01 14:10:30 +08:00
c122f1d63b 完善后端日志 2026-03-30 21:24:13 +08:00
332f0f636d 完善前端页面 2026-03-27 02:55:06 +08:00
d494e78f70 修改前端 2026-03-27 02:02:15 +08:00
091c9db0da 修改前端 2026-03-27 01:54:55 +08:00
4e178477fe 更新后端 2026-03-27 01:40:48 +08:00
7c88da9ab1 完善数据库调用 2026-03-27 00:06:17 +08:00
6b88e971e8 后端完成异步和rag设置 2026-03-26 23:41:03 +08:00
5bcad4a5fa 添加其他格式文档的解析 2026-03-26 23:14:39 +08:00
4bdc3f9707 完成后端数据库连接配置 2026-03-26 19:49:40 +08:00
d3bdb17e87 修正仓库需要忽略的文件 2026-03-24 18:46:32 +08:00
eab5f88662 完成前后端基本架构和excel表的解析及统计图表的生成及导出 2026-03-19 07:17:44 +08:00
2f630695ff 前后端基本架构和完全excel表的解析及统计图表的生成以及excel表的到出 2026-03-19 01:51:34 +08:00
c23b93bb70 配置前端Vue环境 2026-03-13 08:33:51 +08:00
67e29d5800 配置前端Vue环境 2026-03-13 08:21:56 +08:00
0b00e27dbd 配置前端vue环境 2026-03-13 00:28:41 +08:00
zzz
12053a8fb1 测试 2026-03-10 21:49:35 +08:00
tl
b32b1983ce 测试提交 2026-03-10 00:16:07 +08:00
d8266e6d05 更新git相关配置 2026-03-08 12:10:10 +08:00
249cb5f6fd Merge branch 'main' of https://gitea.kronecker.cc/OurCodesAreAllRight/FilesReadSystem 2026-03-08 12:08:11 +08:00
b4a32748c5 更新git相关配置 2026-03-08 12:08:03 +08:00
dj
96f83042d8 测试git 2026-03-08 10:53:03 +08:00
5241f68190 配置 API Key 环境变量,完成 FastAPI 基础配置 2026-02-24 21:07:05 +08:00
9de6c935fa 配置 API Key 环境变量,完成 FastAPI 基础配置 2026-02-24 21:05:55 +08:00
2302d005a1 测试链接云端MongoDB数据库 2026-02-24 13:56:34 +08:00
bbbb475e22 创建仓库和配置项目环境 2026-02-21 21:34:39 +08:00
0486626a99 创建仓库 2026-02-21 20:09:03 +08:00