rlwj-lab/opsxsql
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
197 Commits 1 Branch 0 Tags
d5b8b8116c1cecf912f30ef9b8e60b674fbfabd9
Commit Graph
137 Commits
Author SHA1 Message Date
logan 88d064ea95 feat: 权限组重构为一组双Transfer(只读+写入) + 用户管理加权限组关联 
后端:
- 新增 instance_group_members 中间表 (group_id + instance_id + access_type)
- 一个权限组同时包含 readonly 和 write 两类实例
- API create/update 支持 readonly_instance_ids + write_instance_ids
- Schema Response 返回 readonly_instances + write_instances 分类型列表
- 20 个测试全部通过

前端:
- InstanceGroupPage: 创建/编辑都是上下两个 Transfer 同时配置只读和写入
- 列表卡片显示 [N只读 · M写入] 标签
- 详情页分只读实例和写入实例两块展示
- UsersPage 编辑用户弹框加权限组多选
- instanceGroup.ts API 适配新接口
 2026-05-24 20:08:31 +08:00
logan 40868c61bf feat: 权限组创建改为双Transfer同时配置只读+写入 
- 新建时不再二选一，上下两列Transfer同时配置查询权限和写入权限
- 自动生成「名称-只读」「名称-写入」两个权限组
- 编辑模式保持单组编辑不变
- 按钮显示将创建几个权限组
 2026-05-24 19:43:53 +08:00
logan 128de64592 feat: 数据源编辑加排除数据库+脱敏字段+审批流关联; 权限组Transfer改为选择实例 
- EditInstanceDialog: 新增排除数据库(逗号分隔)、脱敏字段(动态表单+表/字段/规则)、审批流程关联
- Instance: workflow JSON字段改为workflow_id FK关联workflow_definitions表
- InstanceGroupPage: Transfer穿梭框从选数据库改为选实例(数据源)
- 后端instance API返回workflow_name, _get_workflow_names批量查询
- DB迁移: instances表添加workflow_id列
- 37个测试全部通过
 2026-05-24 19:36:39 +08:00
logan 4111e1eee8 refactor: 权限组简化为2组(readonly/write) + Transfer穿梭框选择数据库 
- access_type 从3值(readonly/datachange/ddl)简化为2值(readonly/write)
- readonly=只读查看(关联只读/从库用于查询) write=写入变更(关联主库用于工单)
- 前端InstanceGroupPage重写: 2权限类型卡片+自定义Transfer穿梭框组件
- Transfer组件: 左侧可选数据库→右侧已授权数据库, 搜索/勾选/箭头移动
- role_permissions.py更新: 2值权限映射, get_accessible_instances按access_type过滤
- 后端schema/模型校验更新为readonly|write正则
- 15个测试全部通过
 2026-05-24 19:27:04 +08:00
logan 8161bcf5b5 feat: 权限组简化 + 工单撤销按钮 
后端:
- InstanceGroup 新增 access_type (readonly/datachange/ddl) 和 allowed_databases 字段
- 创建 role_permissions.py 角色权限服务 (admin/dba/auditor/developer)
- SQLite ALTER TABLE 迁移脚本

前端:
- InstanceGroupPage 全面重写: 3种权限类型卡片(只读/数据变更/DDL)替代20+开关
- 新增/编辑弹窗: 权限类型选择 + 限定数据库输入
- 左侧列表显示权限类型标签
- 菜单标签: '权限管理' → '权限组'
- 工单列表 + 工单详情: 新增撤销按钮 (pending/reviewing 状态可撤销)
- API 类型定义: 新增 access_type/allowed_databases
 2026-05-24 19:02:39 +08:00
logan 35a014e571 feat: 查询页增强 + 权限体系优化 
- Redis DB0~DB15 下拉选择，默认DB0
- 查询历史粘贴按钮（一键填入SQL编辑器）
- 去掉导出历史按钮
- SchemaSidebar 按目标数据库筛选
- SQL自动补全 schema 双层注册（db→tables, table→columns）
- 后端 db-schema 接口（INFORMATION_SCHEMA.COLUMNS 一次加载）
- autocompletion 扩展激活
- Redis key 树形结构（冒号分隔层级）
- Redis 查询模板 GET/HGETALL/HGET
- guest 角色彻底移除，改为 auditor
- 登录页优化：去掉演示账号、placeholder 中文提示
 2026-05-24 18:50:08 +08:00
logan aa2e26c827 feat: 查询页目标数据库改为下拉选择 
- 选实例后自动加载该实例的数据库列表 (SHOW DATABASES)
- 手动输入框改为 select 下拉，选库更方便
- Redis/MongoDB 实例不显示数据库下拉
 2026-05-24 15:54:33 +08:00
logan e6ab5bf496 feat: SchemaSidebar 三级树结构 — 库→表→字段 (类似 Navicat) 
- MySQL: 先加载数据库列表，点击库展开表，点击表展开字段
- 当前选中的 database 自动展开并标记「当前」
- 搜索框支持搜库名和表名，跨库搜索
- 每个库的表列表独立缓存，切换库不重复请求
- Tab 名改为「库表」更直观
- Redis 部分保持不变
 2026-05-24 15:52:08 +08:00
logan 6a8c4d95d5 feat: Redis/MySQL 加载骨架屏 loading 效果 
- SchemaSidebar: MySQL 表列表加载改为 6 行骨架屏 animate-pulse
- SchemaSidebar: Redis key 列表加载改为 6 行骨架屏 animate-pulse
- RedisDetailPage: key 表格加载时显示 5 行骨架屏 + 加载中提示
- 替换原来的纯文字/spinner，视觉上更流畅
 2026-05-24 15:46:58 +08:00
logan ca99f0ea7f fix: 工单提交422错误处理 + SQL模板占位符校验 
- TicketCreatePage: Pydantic 422 detail 是对象数组，前端错误处理改为检测数组并拼接 msg
- QueriesPage: 执行前检查 SQL 中未替换的 {table}/{db}/{collection} 占位符，阻止执行
- QueriesPage: 同步修复 422 detail 数组的错误处理
 2026-05-24 15:37:08 +08:00
logan 0aa4595c90 fix: 查询模板占位符替换 + _auto_add_limit 跳过非SELECT语句 + 默认用户密码修正 
修复:
- getTemplateSQL() 支持 {table}/{db}/{collection} 占位符自动替换
- _auto_add_limit() 仅对 SELECT 语句添加 LIMIT, SHOW/DESC/EXPLAIN 跳过
- seed_data 默认用户密码从 '***' 改为 'admin123'
- DB 中已有用户密码已重置为 admin123

测试: 75 passed (新增2个 SHOW/DESC LIMIT 测试)
 2026-05-24 15:32:51 +08:00
logan 0fb947dcb5 feat: TicketCreatePage tab化 + SchemaSidebar + Redis快速搜索 + Dashboard导航修复 
TicketCreatePage 重构:
- SQL编辑器右侧新增数据库浏览器面板(tab化)
- 表结构Tab: 表列表→字段展开(PK/索引标记)→点击插入SQL
- 索引Tab: 选中表的索引详情(索引名/类型/字段/基数)
- Redis Keys Tab: DB选择器+Key模式搜索+Key列表+类型/TTL/值查看

SchemaSidebar 新组件(365行):
- MySQL/PostgreSQL: 左侧数据库表树→字段→点击插入SQL
- Redis: Key树(DB选择→模式搜索→Key值查看, 类似Another Redis Desktop Manager)
- 用于 QueriesPage 查询页面

Dashboard:
- 快捷按钮改用 useNavigate + onClick 替代 <a href>

API增强:
- redis.ts: 新增 getKeys/createKey/deleteKey 方法
- instanceDetail.ts: 导出 TableMeta/TableDetail/ColumnInfo/IndexInfo 类型接口
 2026-05-24 15:10:31 +08:00
logan 8471f368eb init 2026-05-24 14:08:45 +08:00
logan c7fccf99c7 feat: 三大核心功能完成 — query_history持久化 + EXPLAIN真实解析 + Dashboard修复 
P1 查询历史持久化 (47 tests):
- QueryHistory/QuickQuery SQLAlchemy model 建表
- query_history_service 从内存迁移到 SQLite async
- 每用户500条上限自动清理
- 7个API endpoint全部对接持久化
- 10个预置快捷查询模板

P2 EXPLAIN真实解析 (40 tests):
- MySQL EXPLAIN FORMAT=JSON 执行+解析
- PostgreSQL EXPLAIN (FORMAT JSON) 执行+解析
- SQLite EXPLAIN QUERY PLAN 解析
- 统一树结构输出 + 优化警告
- POST /api/v1/sql-assistant/explain endpoint

Dashboard修复:
- 修复重复export default导致页面崩溃
- 对接/instances /tickets /dashboard/stats真实API
- 替换硬编码统计数字为API驱动
- 修复calcHealthScore安全访问

AuditLogsPage:
- 修复Fragment key warning

1081 tests passed (10 system_settings failures are pre-existing)
 2026-05-24 12:29:21 +08:00
logan 1fcb984aee fix: Dashboard 页面崩溃修复 + 真实 API 数据对接 
- 修复重复 export default 导致页面无法加载
- 添加 dbInstances/tickets/queryStats state 定义
- 对接 /instances /tickets /dashboard/stats 真实 API
- 替换硬编码查询统计数字为 API 驱动
- 修复 calcHealthScore 对缺失字段的安全访问
- 新增 QueryHistory/QuickQuery SQLAlchemy model (建表准备)
- 1040 测试通过
 2026-05-24 12:05:26 +08:00
logan 8b921c6c83 refactor: mock清理+安全配置+通用组件+菜单优化 
P0安全: SECRET_KEY/ADMIN_PASSWORD/CORS环境变量化, seed仅admin

P1Mock: mock.ts 301->88行, 删8数据mock+5generateMock, net-1300行

P2组件: useToast/useFetchList+ConfirmDialog/FormDialog

P3菜单: menuSections/menuItems->constants/menu.ts

P4API: NotificationsPage/WorkflowPage重写+RolesPage演示

测试: 1050passed, tsc clean
 2026-05-24 02:42:29 +08:00
logan 4ac2528f8e fix: 审核引擎优化 + 执行结果结构化展示 
后端审核规则修复:
- Redis SEC-001: SET/DEL等常规命令不再误报AUTH要求，改为仅对管理级命令WARNING
- Redis SEC-003: 降级为INFO，排除已由CMD-001拦截的FLUSHDB/FLUSHALL
- Redis key提取: 排除CONFIG/ACL等管理命令，不再把子命令参数误认为key名
- MySQL SEC-006: 新增GRANT ALL/REVOKE ALL全局权限拦截
- MySQL SEC-007: 新增LOAD DATA/LOAD XML拦截
- MySQL SEC-008: 新增SLEEP()/BENCHMARK()时间盲注拦截
- MySQL SEC-009: 新增INTO OUTFILE/DUMPFILE文件写入拦截

前端执行结果结构化:
- TicketDetailPage执行结果从原始JSON改为结构化展示
- 解析JSON展示: 状态徽章+影响行数+耗时+验证状态
- Errors/Warnings逐条渲染: 红色错误框+黄色警告框+具体消息
- 删除废弃的executeStats/renderExecuteStats

其他: 审核规则6分组/慢查询移除/查询数据重命名/AuditLogs修复
测试: 1040 passed, TSC零错误
 2026-05-24 01:31:33 +08:00
logan 9f56e866f2 fix: 移除所有弹框遮罩层点击关闭 — 防止输入时误触关闭 
涉及文件 (12处):
- InstancePage.tsx: 添加数据源弹框
- UsersPage.tsx: 新建/编辑/重置密码/详情弹框 (4处)
- RolesPage.tsx: 克隆角色弹框
- InstanceGroupPage.tsx: 新建/编辑/关联实例/关联用户弹框 (4处)
- SlowQueryPage.tsx: 查询对比弹框
- RedisDetailPage.tsx: 键详情/新增键弹框 (2处)

改动: 遮罩层div移除onClick，只能通过X按钮或取消按钮关闭
 2026-05-23 23:38:58 +08:00
logan b39c426317 fix: merge后14个测试修复+前端TS编译修复 - 895/895通过+前端零错误 2026-05-23 17:50:13 +08:00
logan 58eb78c987 merge: SQL平台代码v1 优化包合并 — 193条审核规则 + 16页面UI优化 
后端新增 (Step 1):
- mysql_audit_rules.py: 63条 MySQL审核规则 (DDL 36 + DML 9 + 命名 5 + 性能 5 + 安全 5)
- redis_audit_rules.py: 43条 Redis审核规则 (KEY管理 10 + 命令安全 12 + 数据结构 8 + 性能 8 + 安全 5)
- mongodb_audit_rules.py: 42条 MongoDB审核规则 (集合管理 + 查询安全 + 聚合管道 + 写入安全 + 性能)
- postgres_audit_rules.py: 45条 PostgreSQL审核规则 (DDL 18 + DML 8 + DQL 6 + 安全 6 + 性能 7)

后端合并 (Step 2):
- audit_engine_v2.py: 新增4个DB规则模块import (100+→200+规则)
- audit_rule_seeds.py: 新增30条MongoDB种子规则 + 别名映射
- audit_rule.py: 新增数据库类型别名 (postgresql→postgres, pg→postgres, mongo→mongodb)

前端优化 (Step 4) — 16页面全覆盖:
- InstancePage, WorkflowPage, TicketsPage, TicketCreatePage, TicketDetailPage
- UsersPage, SlowQueryPage, DataDictionaryPage, Dashboard
- InstanceGroupPage, AuditLogsPage, QueriesPage, AuditRulesPage, RolesPage
- useAuth.tsx, SqlEditor.tsx

后端测试 895/895 通过, 前端 tsc --noEmit 通过
 2026-05-23 16:46:13 +08:00
logan dba161265c fix: AuditLogsPage暗色主题适配(20处) + 权限项前后端对齐(18→9项) 
AuditLogsPage 暗色主题 P0 修复:
- ACTION_COLORS: bg-blue-100→bg-blue-500/15, text-blue-800→text-blue-400 等 8 项
- 表格容器: bg-white→dg-card, bg-gray-50→bg-[var(--dg-bg-tertiary)]
- 所有 text-gray-* → --dg-text-* 变量
- 所有 bg-gray-* → --dg-bg-* 变量
- 分隔线: divide-gray-100→divide-[var(--dg-border)]
- 分页按钮: 全部改用 dg 变量
- grep 验证: 零残留硬编码亮色

InstanceGroupPage 权限项对齐:
- 前端权限项从 18 个精简到 9 个，与后端 PERMISSION_ACTIONS 一致
- 查询: query:select, query:write
- 工单: ticket:create, ticket:approve, ticket:execute
- DDL: ddl:execute
- 运维: slowlog:view, backup:manage, instance:detail
 2026-05-23 15:13:22 +08:00
logan 583e891619 fix: CodeMirror多实例冲突 — 移除@codemirror/rectangular-selection@0.19.x和codemirror元包 
根因: @codemirror/rectangular-selection@0.19.2 引入 @codemirror/state@0.19.9 (旧版)
与主依赖 @codemirror/state@6.6.0 冲突，导致 instanceof 检查失败

修复:
- npm uninstall @codemirror/rectangular-selection (已合并到 @codemirror/view)
- npm uninstall codemirror (元包，无代码引用)
- SqlEditor.tsx 移除 rectangularSelection import 和调用
- 后端测试 843/843 通过
 2026-05-23 15:07:51 +08:00
logan 4c9427e546 sync: 同步 sql-platform-pro 最新代码 — 权限体系安全修复 v0.8.1 
- P0: 实例访问控制全线接入权限组 (829测试)
- P1: permissions字段激活 + 操作级权限检查 (843测试)
- 前端: 删除数据权限页面, 权限组合并为唯一入口
- 新增: CodeMirror编辑器 + 查询模板 + 慢查询分析
- 新增: MongoDB管理页面 + Dashboard增强
- 修复: Pydantic V2迁移 + 前端TS错误修复
 2026-05-23 14:41:06 +08:00
logan 765d27f1e3 feat: 实例权限组系统 — 完整CRUD + 实例/用户关联 + 前端管理页面 
后端:
- InstanceGroup 模型 (name/db_type/permissions JSON/is_active)
- user_groups 关联表 (用户-权限组 M2M + 权限覆盖)
- Instance 模型增加 group_id FK
- User 模型增加 groups 关系
- API: CRUD + 实例关联 + 用户分配 + 权限组过滤
- 15 个新测试 (CRUD/关联/权限检查/参数校验) — 217/217 passing

前端:
- InstanceGroupPage: 左右布局(列表+详情)
- 权限配置: 5类17项权限勾选 (查询/DDL/工单/数据操作/管理)
- 实例关联/用户关联弹框
- 侧边栏增加权限组菜单 (数据源分组下)
- 路由 + 权限注册
 2026-05-23 00:09:34 +08:00
logan 836ea97ee5 style: 数据源类型使用品牌SVG图标 + 按钮去装饰 
- MySQL: 官方海豚蓝色SVG
- PostgreSQL: 官方大象蓝色轮廓SVG
- Redis: 官方红色菱形堆叠SVG
- MongoDB: 官方绿色叶子SVG
- 底部按钮去掉闪电图标，纯文字简洁风格
- 前端构建零错误, 后端202测试通过
 2026-05-22 23:35:55 +08:00
logan e0cb505d43 refactor: 数据源弹框交互重构 + test-connection API 
1. 类型选择前置: 4个数据源类型卡片(MySQL/PG/Redis/Mongo)放最前面
2. 根据类型动态渲染: Redis隐藏用户名/数据库, 显示数据库编号
3. 环境支持自定义输入: 预设开发/预发/生产/测试/UAT + 自定义...
4. 去掉流程配置: 不再需要配置审批流程
5. 测试连接优先: 底部左侧「测试连接」按钮, 连接成功后才能「添加数据源」
6. 后端新增 POST /test-connection: 不保存实例直接测试连接参数
7. 类型切换自动填充默认端口: mysql:3306, pg:5432, redis:6379, mongo:27017
8. 连接测试结果展示: 成功(绿色+版本号) / 失败(红色+错误信息)
9. 修改连接参数时自动清除测试结果, 需重新测试

前端构建零错误, 后端202测试通过
 2026-05-22 23:32:56 +08:00
logan f8ae3b92e5 feat: 脱敏字段一键填入 + 实例密码已脱敏 
- 脱敏字段支持标签化选择: 16个预设字段标签点击即添加
- 一键填入: 将全部预设字段填入 textarea
- 复制全部: 复制预设字段列表到剪贴板
- 预设字段: mobile, concat_mobile, email_alias, email, password,
  ga_key, private_key, secret, secret_key, key_snow,
  telephone, username, real_name, token, two_factor_secret, content
- 后端 InstanceResponse 不含 password 字段 (已脱敏)
- 前端构建零错误, 后端202测试通过
 2026-05-22 23:21:41 +08:00
logan 87d2af5e48 fix: 脱敏处理 — 移除公司域名和内部实例名 
- placeholder: pro-cex-rds → prod-mysql, pro-rds-ro.51aipay.com → mysql.example.com
- test fixtures 同步替换
- 修复 PageHeader 权限检查: 同时检查 routePermissionMap 和 actionPermissionMap
- 前端构建零错误, 后端202测试通过
 2026-05-22 23:17:43 +08:00
logan dfdac3ad37 feat: P0前端页面完善 — InstanceDetail/RedisDetail/TicketCreate/TicketDetail 
- InstanceDetailPage: 概览/表管理/SQL查询/用户权限/慢查询/进程列表 6个Tab
- RedisDetailPage: 键管理/监控信息/命令行/性能分析 4个Tab + 新增键弹框
- TicketCreatePage: 工单创建向导(选择实例/填写SQL/审核规则检查)
- TicketDetailPage: 工单详情+审批/拒绝/执行/回滚操作
- App.tsx 路由注册: instances/:id, redis/:id, tickets/create, tickets/:id
- API方法名对齐: listDatabases/listTables/listUsers
- 前端构建零错误, 后端202测试通过
 2026-05-22 23:10:14 +08:00
logan 5cbd0e3441 refactor: 数据源菜单合一+布局优化 
- 4个数据源菜单(MySQL/PG/Redis/Mongo)合并为1个「数据源」
- InstancePage 改为统一入口，顶部Tab切换类型过滤
- 添加数据源改为弹框Modal（默认MySQL）
- 去掉左下角用户区，退出登录移到右上角header
- 侧边栏收窄220px，整体布局更紧凑
- 后端202 tests passing
- 前端构建零错误
 2026-05-22 22:53:48 +08:00
logan bab55d3927 feat: 审核规则模版+设置页面整合+去掉角色切换demo 
后端:
- AuditRule 新增 value 字段, rule_type 扩展 DDL/DML
- MySQL/PG/Redis 预设规则种子接口 POST /audit-rules/seed/{db_type}
- 公告管理 CRUD (announcements)
- 消息推送 CRUD+测试 (notifications: 钉钉/飞书/邮件)
- LDAP 配置 CRUD+测试连接 (ldap-config)
- 164 tests passing (+31 新增)

前端:
- AuditRulesPage 重写: DB类型Tab+DDL/DML分组+参数编辑
- SettingsPage: 系统设置主页(审核规则/公告/推送/LDAP)
- NotificationPage: 钉钉/飞书/SMTP配置
- LdapConfigPage: LDAP设置+测试连接
- AnnouncementPage: 公告Markdown编辑
- 去掉左下角角色切换demo
- 侧边栏合并为: 系统设置(含审核规则+公告+推送+LDAP)
 2026-05-22 22:26:10 +08:00
logan d5d19d6be4 feat: 项目重命名 SQL-Platform + 数据源表单重写(连接模式/流程/排除DB/脱敏) 
- 项目名称 Web-Lite Pro → SQL-Platform 全局替换(13处)
- Instance 模型新增: access_mode, workflow, excluded_databases, mask_fields
- 创建数据源表单: 分区卡片(数据源信息/连接模式/流程/高级配置)
- 后端 JSON 字段序列化/反序列化
- 新增 5 个 Instance 字段测试 (133 total)
 2026-05-22 22:08:05 +08:00
logan 1877522239 fix: AuditRulesPage白屏修复 + 数据源权限/状态对齐 
- AuditRulesPage: rules/stats 空值防御, catch 时设置空数组/null
- instance.add 权限: admin → admin+dba (与后端一致)
- 状态映射: 后端 connected/disconnected/error → 前端在线/离线/异常
- InstancePage 所有状态引用统一使用 getStatusInfo()
 2026-05-22 21:58:37 +08:00
logan ff0a330e8a feat: Phase 4 - SQL AST analyzer, audit rules CRUD, Alembic, Docker (128 tests) 2026-05-22 13:35:35 +08:00
logan 66b09e4d85 feat: Phase 3 - AES encryption, SQL audit engine, audit logs (85 tests) 
Phase 3.1: Instance password AES-256-GCM encryption
Phase 3.2: SQL audit rule engine (10 rules)
Phase 3.3: Auto-audit on ticket creation
Phase 3.4: Operation audit logs + GET /audit/logs
Tests: 44 -> 85 (41 new), Frontend: AuditLogsPage
 2026-05-22 13:08:55 +08:00
logan 27989274f5 feat: Phase 2 — frontend-backend integration complete 
- All 5 core pages now use real API instead of mock data
  - Dashboard: /api/v1/dashboard/stats
  - Tickets: list/create/detail/approve/execute/statistics
  - Users: list/create/toggle-active/delete
  - Instances: list/create/test-connection/delete
  - Queries: execute with result display + sensitive field masking
- Updated DashboardStats type to match backend schema
- Fixed InstancePage to work with InstanceResponse (no qps/cpu/metrics yet)
- Added create forms for Tickets, Users, Instances
- Added connection test in InstanceDetail
- Updated TDD_PLAN.md: Phase 1 ✅ (44 tests), Phase 2 ✅
- Updated ROADMAP.md: v0.2.0 ✅
- Updated PROJECT_EVALUATION.md: score 5.7 → 6.2
- Frontend build passes with zero TS errors
- 44 backend tests still passing
 2026-05-22 12:39:48 +08:00
loganandClaude Opus 4.7 439155c92e Initial commit: SQL audit platform v0.1.0 
FastAPI backend with auth, user, instance, ticket, query, dashboard APIs.
React + TypeScript frontend with mock data UI (10 pages).
SQLite + async SQLAlchemy, JWT auth, role-based access control.

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
 2026-05-22 11:11:57 +08:00