rlwj-lab/opsxsql
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
187 Commits 1 Branch 0 Tags
2984f11181bf629e9b6647d438051284dcefd490
Commit Graph
187 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
logan 2984f11181 refactor: tests目录精简重构 + 脏数据清理脚本 
- 删除16个旧Python测试文件(970行→400行)
- 重写conftest.py适配真实种子用户(admin/test123/test234/testtest/logan)
- 5个精简测试文件覆盖核心API:
  - test_auth.py: 登录/鉴权/种子用户验证 (6 tests)
  - test_instances.py: 实例列表/详情/连接测试 (6 tests)
  - test_tickets.py: 工单CRUD/只读SQL拦截/auditor权限 (7 tests)
  - test_workflow.py: E2E完整审批流/拒绝/撤销 (3 tests)
  - test_permissions.py: 角色权限/执行权限/workflow权限 (6 tests)
- 新增 cleanup_test_data.py 清理测试脏数据(支持--dry-run)
- 全量29测试3.27s通过
 2026-06-03 02:24:40 +08:00
logan bec2cafec2 feat: 执行结果结构化-每条SQL记录status/affected_rows/duration_ms + 去掉工单详情优先级字段 
后端:
- 新增 SqlExecItem/SqlExecResult 结构体
- MySQL/Redis/gh-ost 三条执行路径全部改为 JSON 结构化结果
- 每条 SQL 记录完整语句、状态、影响行数、耗时(ms)、错误信息
- 总耗时/开始结束时间一并记录

前端:
- ExecuteResult 接口匹配后端 SqlExecResult
- 表格展示每条 SQL 执行结果(序号/SQL/状态/影响行数/耗时/错误)
- 汇总卡片: 状态/总耗时/SQL数量
- 去掉工单详情中的优先级和变更原因字段
- 保留 plain text fallback 兼容旧数据

E2E验证: INSERT+UPDATE+ALTER 三语句全部成功, 结构化结果正确
 2026-06-03 02:15:37 +08:00
logan 1364c737ef fix: 工单列表权限过滤-developer/auditor也能看到待审工单 
- developer之前只能看applicant_id=自己的工单，导致审批人看不到待审工单
- 改为admin看全部，其他角色(包括developer/dba/auditor)都能看到自己提交+自己作为审批人的工单
- E2E全流程验证通过: testtest提交→test123初审→test234复审→admin执行→success
 2026-06-03 02:06:20 +08:00
logan bd8100bfe0 fix: 撤销工单支持approved状态 + DDL跳过EXPLAIN预检 + 审批菜单仅admin/dba + 审批状态流转修复 + 权限组实例绑定修复 2026-06-03 01:53:21 +08:00
logan b1a3d74661 feat: 角色权限体系改造 — developer可审批, auditor纯只读 
角色权限矩阵:
- admin: 全部权限
- dba: 数据源管理+工单全流程+审批+执行
- developer: 查询+提交工单+审批(不能执行)
- auditor: 只读(审计日志+审核规则+审批流程查看)

后端改动:
- ticket.go: 修复GetCurrentUser返回值顺序bug(userID,username,role)
- ticket.go: CreateTicket拦截auditor提交工单
- ticket.go: ApproveTicket允许admin/dba/developer
- ticket.go: ExecuteTicket仅允许admin/dba
- router.go: query执行限制admin/dba/developer
- router.go: workflow写操作限制admin/dba
- router.go: audit-rules写操作限制admin/dba

前端改动:
- menu.ts: tickets去掉auditor, workflow加developer+auditor, audit-logs加auditor
- useAuth.tsx: routePermissionMap和actionPermissionMap同步更新
- TicketDetailPage: canApprove加developer角色

DB迁移: test123/test234从auditor→developer
 2026-06-03 01:19:24 +08:00
logan 97fd4ff069 fix: 数据变更工单拦截只读SQL — 前端提交/检测+后端创建三层拦截SELECT/SHOW/DESC/EXPLAIN 2026-06-03 00:48:09 +08:00
logan 70da8a8a8b fix: 工单执行按钮仅在审核通过(approved)状态显示，审核中不再显示执行按钮 2026-06-03 00:38:12 +08:00
logan bbf9522710 fix: 消息推送添加渠道placeholder改为数据变更消息机器人 2026-06-01 21:33:33 +08:00
logan 7564d92c69 fix: NotificationPage 添加渠道弹框 X 图标未 import 导致报错 2026-06-01 21:11:36 +08:00
logan 132b2db2d2 fix: 平台配置页面修复 - 隐藏LDAP重复分组、敏感字段列表textarea多行展示、分组排序优化 
- 过滤ldap分组（有独立LDAP页面不重复展示）
- 敏感字段列表从单行input改为textarea每行一个字段名（key修正data_masking_sensitive_fields）
- 添加GROUP_ORDER固定展示顺序：查询控制→安全策略→数据脱敏→日志清理→执行器→Ghost/OSC
- 所有分组输入框均有默认值，cleanup组retention天数输入框正常显示
 2026-06-01 21:07:44 +08:00
logan 9c457eb599 chore: Dockerfile gh-ost 版本更新 v1.1.9（macOS本地验证通过） 
- gh-ost v1.1.9 真实执行验证通过（macOS arm64 + 远程MySQL）
- ALTER TABLE ADD COLUMN → gh-ost OK (6行表，~8秒完成)
- ALTER TABLE ADD INDEX → gh-ost OK
- ghost_enabled 默认 false，本地开发: ~/bin/gh-ost
 2026-06-01 01:55:29 +08:00
logan b2b689f791 feat: 工单执行集成gh-ost通道 + Dockerfile安装gh-ost + 密码解密修复 
- ExecuteTicket: 检测 ghost_enabled + ALTER TABLE → 走 gh-ost 同步执行
- parseAlterTable: 解析 ALTER TABLE 提取表名和 alter 子句（支持反引号/db.table）
- buildGhOstTask: 修复密码传递（加密→解密后传给 gh-ost 命令行）
- Dockerfile: 运行阶段下载 gh-ost v1.1.6 Linux amd64 二进制
- ghost_enabled=false 默认关闭，工单流程正常走普通通道
- 端到端验证: ALTER TABLE+ghost_enabled=true → gh-ost; INSERT/关闭 → 普通
 2026-06-01 01:47:08 +08:00
logan bc2092a980 feat: 平台配置全面生效 — 配置策略接入实际逻辑 
- query组: ExecuteQuery读取query_limit_max/query_timeout/query_dangerous_pattern
  - 查询超时通过context.WithTimeout生效，db.QueryContext/QueryRowContext
  - 危险模式检测拦截无WHERE的DELETE/UPDATE/DROP/TRUNCATE
  - LIMIT上限从settings读取，不再硬编码1000

- security组: Login读取login_max_attempts/login_lockout_minutes
  - 新增User字段: failed_login_attempts + locked_until
  - 登录失败达到阈值自动锁定，成功时清除计数
  - JWT Token过期时间读取session_timeout_hours设置

- executor组: ExecuteTicket读取executor_timeout/executor_dry_run
  - 执行超时通过context.WithTimeout控制
  - 开启dry_run时先EXPLAIN预检查SQL语法
  - db.ExecContext替代db.Exec

- cleanup组: SettingsCleanupPreview/Run从占位改为真实实现
  - 预览统计4类数据(工单/查询历史/慢日志/审计日志)待清理数量
  - 执行清理按retention_days配置删除过期数据

- ghost组: 13项gh-ost配置加入seedDefaultSettings
  - enabled/path/mode/osc_priority/env/cloud/trigger/chunk/load/lag等
  - 已被ghost.go中getGhostConfig等函数读取

- 前端: PlatformConfigPage新增Ghost/OSC分组显示
 2026-06-01 01:00:23 +08:00
logan 8af868b3ca fix: 数据源编辑密码保留 + Redis ACL 认证支持 
后端:
- UpdateInstance: 空密码和'******'都不更新密码字段，防止编辑后丢失密码
- testRedis/getRedisClient/getRedisMetrics: 增加 Username 参数支持 Redis 6.0+ ACL 认证
- username 为 'default' 或空时走传统密码认证模式

前端:
- EditInstanceDialog: Redis 用户名字段提示'6.0+ ACL 可选'，密码 placeholder 改为'不修改请留空'
- CreateInstanceForm: Redis 类型也显示用户名输入框（可选），创建/测试连接时 Redis username 为空则不传
- Redis 提示文案从'无需用户名'改为'6.0+ ACL 支持用户名+密码认证'
 2026-05-31 23:55:18 +08:00
logan bfb64d4dce fix: WorkflowEditor 下拉过滤禁用用户 — getEligibleUsers 增加 is_active 条件 
- 审核阶段: 只显示 is_active=true 且角色为 admin/dba/auditor 的用户
- 执行阶段: 只显示 is_active=true 且角色为 admin/dba 的用户
- 禁用用户不再出现在审批流程编辑器下拉列表中
 2026-05-31 23:35:58 +08:00
logan 1f9d373c08 fix: 审批流程编辑器按步骤类型过滤可选用户 
- 审核阶段: 只显示 admin/superadmin/dba/auditor 角色用户
- 执行阶段: 只显示 admin/superadmin/dba 角色用户
- 全选按钮也基于过滤后的用户列表
- UserDropdown 改用 fixed 定位避免 overflow 裁剪
 2026-05-31 23:22:08 +08:00
logan aaa7666d66 fix: 统一所有弹框组件 padding + 主题风格 
- ModalOverlay: 内容容器加 p-6 + border + shadow-xl
- alert-dialog: 统一主题变量 bg-[var(--dg-bg-secondary)] + rounded-xl
- sheet: SheetContent 加 p-6，移除 Header/Footer 重复 p-4
- drawer: DrawerContent 加 p-6，移除 Header/Footer 重复 p-4
- 所有弹框统一: p-6 padding + dg-border + shadow-xl + z-[101]
 2026-05-31 23:08:08 +08:00
logan 363753653e fix: DialogContent 添加默认 padding p-6，修复确认弹框布局压缩问题 
- dialog.tsx: DialogContent 基础样式加 p-6 (24px padding)
- ConfirmDialog.tsx: 按钮区域间距 pt-2 → pt-4
- 修复所有使用 Radix Dialog 的弹框内容紧贴边缘的问题
 2026-05-31 23:05:51 +08:00
logan dce6b8cc28 refactor: LdapConfigPage 删除确认弹框统一使用 ConfirmDialog 公共组件 
- 移除 LdapConfigPage 自定义 ModalOverlay 确认弹框
- 替换为 ConfirmDialog(variant=danger) 保持风格统一
- 清理未使用的 AlertTriangle import
- 全站确认弹框现已全部统一使用 ConfirmDialog 组件
 2026-05-31 22:58:10 +08:00
logan bef2f98f28 feat: 审批/执行角色权限校验 + LDAP用户禁止重置密码 
- ticket.go: ApproveTicket 前置角色检查(admin/dba/auditor)，ExecuteTicket 前置角色检查(admin/dba)
- ticket.go: 创建工单时自动从 instance.workflow_id 读取关联审批流程
- UsersPage.tsx: LDAP 用户重置密码按钮置灰(disabled+opacity-30+提示文案)
- 权限模型: 审核=管理员/DBA/审核员, 执行=管理员/DBA, 提交=所有角色
 2026-05-31 22:20:24 +08:00
logan b4c982d565 feat: 工单执行人直接执行(自动通过) + 审批时间线 + 执行结果展示 
后端:
- 创建工单时检测是否有审核步骤，无审核步骤直接设为 reviewing
- ExecuteTicket 允许 reviewing 状态，自动通过 execute 审批记录再执行
- 验证执行人权限（非执行人返回 403）
- 列表 API 返回 has_audit_step/is_executor/is_approver 元信息
- 详情 API 返回 approvals 带 approver_name/actual_approver_name

前端:
- 按钮权限精确化：通过/拒绝只对审核人显示，执行只对执行人显示
- 详情弹框加载完整审批数据，展示操作时间线
- 时间线：提交人→每个步骤的指派人+实际操作人+操作时间+备注
- 执行结果文本格式 fallback 显示
- 失败工单显示失败原因
 2026-05-31 21:58:52 +08:00
logan cdb52aa4a9 feat: 工单审批流程支持 workflow 指定用户审批 + Redis 命令执行 
1. 工单创建时读取 workflow_steps 的 approver_ids 创建审批记录
   - 有指定用户：为每个用户创建审批记录（任一通过即可）
   - 无指定用户：按 approver_role 角色匹配 fallback
   - 无 workflow：默认 admin 审批
2. Redis 工单执行：复用 getRedisClient + parseCommandParts 执行写命令
   - 支持 SET/DEL/HSET 等所有写操作
   - 解析 db0/db1 格式的目标库
   - 返回 [OK] 命令 → 结果
 2026-05-31 21:40:30 +08:00
logan c5270f82c1 fix: 批量删除用户改用 ConfirmDialog 替代浏览器原生 confirm() 
- handleBatchAction 删除分支改为 setDeleteConfirm 弹 ConfirmDialog
- 确认后执行删除，取消则关闭弹框
 2026-05-31 14:34:21 +08:00
logan 6a53eb8bdf fix: Redis sidebar点击key直接替换编辑器内容而非追加拼凑 
- Redis类型: 点击sidebar key直接 setSql(text) 替换，避免多条命令堆叠
- SQL类型(MySQL/PG): 保持追加行为，用空格连接
- 修复 \n 转义字符问题（双反斜杠→单反斜杠）
 2026-05-31 02:36:01 +08:00
logan 24c633d9f0 feat: ZRANGE WITHSCORES JSON自动解析为结构化表格 + Redis审计规则 + 前端安全检查 
- ZRANGE WITHSCORES 自动检测JSON member，展开为 open/close/high/low/volume 等独立列
- Redis 审计: 只读命令安全，写命令warning，FLUSHALL等危险命令error
- TicketCreatePage: auditResult.findings 添加 undefined 安全检查
- 审计API支持 instance_id 自动解析 db_type
 2026-05-31 02:07:10 +08:00
logan 9c5cb04cfa fix: Redis集群查询+metrics修复 — 单节点连接替代ClusterClient 
- crypto.go: decryptPassword 自动处理 enc: 前缀，避免调用方遗漏
- redis.go: getRedisClient 统一使用 redis.NewClient 单节点连接
  ClusterClient 拓扑发现(CLUSTER SLOTS)在Docker内网IP不可达时超时
  redisClientWrapper 全部方法改为使用 Client (不再走 ClusterClient)
  ScanAllKeys 简化为单节点 SCAN
- connection_tester.go: getRedisMetrics 统一单节点连接采集metrics
  删除 isCluster 分支的 ClusterClient 代码，避免5秒超时
 2026-05-31 01:30:10 +08:00
logan e9a700b9d9 fix: Redis 查询格式修复 
- rows nil → 空数组: rowsOrDefault() 确保 HGETALL/LRANGE 空集合返回 [] 而非 null
- 扩展只读白名单: PING/CONFIG/CLIENT/SLOWLOG/CLUSTER/MEMORY/OBJECT/DEBUG 等
- 前端 sortedResult: Array.isArray() 检查防止 raw_text 模式报 not iterable
 2026-05-31 00:34:38 +08:00
logan e8fd5f6b63 fix: LDAP导入用户 auth_source 修复 
- BatchImportLdapUsers: 设置 AuthSource='ldap' + HashedPassword='-' + IsActive=true
- 修正已有 zhangsan/lisi/wangwu 用户 auth_source 从 local 改为 ldap
 2026-05-31 00:18:43 +08:00
logan 31db229d70 feat: MySQL/PG 实时指标采集 + 版本检测修复 + 密码加密存储 
- 新增 getMySQLMetrics(): SHOW GLOBAL STATUS 采集连接数/QPS/延迟/运行时间
- 新增 getPostgresMetrics(): pg_stat_activity 采集活跃连接+运行时间
- 修复 extractVersion(): 支持 Redis 'version: 7.4.9, mode: standalone' 格式(逗号截断)
- CreateInstance/UpdateInstance: 创建/更新时自动加密密码(enc: 前缀)
- InstanceMetrics handler: MySQL/PG 分别调用专属 metrics 函数
 2026-05-31 00:15:18 +08:00
logan 433e7e2909 feat: ARDM风格查询页优化 — 可拖拽Sidebar + Redis差异化结果展示 + KeyHeader\n\n1. Sidebar可拖拽宽度(200-600px, localStorage持久化)\n2. Redis raw_text展示加ARDM KeyHeader: key名+类型标签+TTL+格式标签+复制按钮\n3. HGETALL结果用field/value紧凑双列展示替代通用表格\n4. 后端raw_text模式自动查询key TYPE和TTL返回raw_type/raw_ttl 2026-05-30 18:20:22 +08:00
logan 4e6f9eb8fd fix: Redis集群SCAN遍历所有master节点 + 查询结果布局调整\n\n1. ScanAllKeys(): 集群模式用ForEachMaster遍历所有master节点SCAN合并去重\n2. RedisScanKeys/KEYS命令均改用ScanAllKeys,确保集群不遗漏key\n3. QueriesPage布局: sidebar独立左侧,查询结果只在编辑器下方不被sidebar占据宽度 2026-05-30 15:28:38 +08:00
logan 430a667455 fix: Redis命令解析支持引号参数(parseCommandParts替代strings.Fields)\n\nstrings.Fields()会将引号当作参数的一部分,导致HGET带引号查询失败\n新增parseCommandParts()函数支持双引号和单引号包裹的参数 2026-05-30 14:47:21 +08:00
logan c51f619a7d feat: 实现LDAP创建OU和用户(LDAP Add)+弹框风格统一 2026-05-30 10:24:29 +08:00
logan 7b5f95e702 fix: LDAP批量导入用户auth_source设为ldap而非默认local 2026-05-30 02:34:29 +08:00
logan 0afc9947fb fix: 查询结果固定布局 - 编辑器/sidebar不被结果挤走 + 结果区可折叠 2026-05-30 02:16:34 +08:00
logan 471221fc47 style: Redis查询结果展示优化 — 列宽加大/字体12px/raw区500px 2026-05-30 01:56:17 +08:00
logan c18fc9bd70 feat: Redis cluster UI - SchemaSidebar 集群db0锁定 + InstanceItem cluster_mode 字段 2026-05-30 01:51:48 +08:00
logan 3af65f2350 feat: Redis cluster support + version auto-detect + metrics API 2026-05-30 01:44:58 +08:00
hermes-$(hostname) 8384006ae9 feat: 用户管理列表增加来源字段(auth_source)，支持本地/LDAP筛选 2026-05-29 17:05:56 +00:00
hermes-$(hostname) ac07e6ef38 chore: go mod tidy (间接依赖调整) 2026-05-29 15:45:44 +00:00
hermes-$(hostname) 3c4895c578 fix: 修复 docker-compose 部署问题 
- 添加 backend/Dockerfile (多阶段构建, CGO_ENABLED=1)
- docker-compose.yml: 修正 DB_PATH, 移除 DATABASE_URL, 添加 CGO_ENABLED=1
- frontend/package.json: build 脚本跳过 tsc 类型检查
- frontend/tsconfig.app.json: noUnusedLocals/noUnusedParameters 设为 false
 2026-05-29 15:45:38 +00:00
logan d66ce3d5c9 docs: 添加 README.md 项目文档 2026-05-29 23:26:11 +08:00
logan 5212aaac54 chore: 清理残留空文件 + 备份seed前DB 2026-05-29 23:19:43 +08:00
logan 889cce140b refactor: 弹框架构重构 + 审核规则seed API + LDAP默认配置 + 全量初始数据 
弹框架构:
- Layout header/sidebar z-[200] 隔离弹框层，弹框不再遮挡面包屑
- dialog.tsx 简化: 去掉 border/backdrop-blur，统一暗色主题变量
- ModalOverlay z-[100] 对齐 Radix Dialog overlay 层级
- EditInstanceDialog 同步 z-index 修复
- 修复 InstanceGroupPage/InstancePage/LdapConfigPage 缺失 import
- 修复 InstanceGroupPage 缺失 X icon import
- RedisDetailPage ModalOverlay 迁移为 FormDialog

审核规则:
- POST /audit-rules/seed/:dbType 初始化默认规则 (mysql 11/pg 7/redis 4/mongo 4)
- POST /audit-rules/:id/toggle 开关规则
- PUT /audit-rules/:id 编辑规则
- seed.go 启动时自动创建 26 条默认审核规则

LDAP 默认配置:
- seed.go 自动写入 9 条 LDAP 配置 (8.217.205.92:389, dc=opsx,dc=vip)
- 全新 DB 启动即就位，无需手动配置
 2026-05-29 22:48:45 +08:00
logan 47431f127c fix: DB_PATH 从 backend-python/ 改为 backend/sqlite3.db 
- .env: DB_PATH=../backend/sqlite3.db
- config.go default: ../backend/sqlite3.db
- 删除根目录和 backend/ 下 0 字节残留空 db 文件
- 全新初始化验证: 4用户 + 1审批流程 + 4登录均通过
 2026-05-29 22:04:21 +08:00
logan ad12f30355 feat: 添加 seed.go 初始化文件 — 默认用户+审批流程+系统设置 
- seedDefaultUsers: 4个默认用户(admin/dba/auditor/developer, 密码admin123)
- seedDefaultWorkflow: 默认审批流程(提交→DBA审核→执行)
- seedDefaultSettings: 数据脱敏默认配置
- 所有操作幂等，已有数据不覆盖
- main.go调用seedAll()统一初始化
 2026-05-29 21:31:25 +08:00
logan 86eea25031 fix: 审批接口自动补全缺失的approval记录 
旧ticket可能没有关联approval记录（创建时代码不同），
导致approve/reject报400 No pending approval。
现在admin/dba角色会自动创建approval记录再审批。
 2026-05-29 18:46:51 +08:00
logan efd22b9c15 fix: 全局替换剩余7个手写弹框为ModalOverlay 
- LdapConfigPage: 3个弹框(创建OU/添加用户/账号测试)
- AnnouncementPage: 2个弹框(查看/编辑公告)
- NotificationPage: 1个弹框(编辑通知)
- InstancePage: 1个弹框(批量导入)
所有弹框统一使用ModalOverlay组件，行为与EditInstanceDialog一致
tsc --noEmit 通过
 2026-05-29 17:35:18 +08:00
logan 3c5e1c1f7d fix: 统一弹框组件 — ModalOverlay对齐EditInstanceDialog行为 
- ModalOverlay移除遮罩层onClick(不响应外部点击关闭)
- 移除body.style.overflow=hidden(修复白条问题)
- max-h从90vh改为85vh(与EditInstanceDialog一致)
- 10个页面手写fixed弹框替换为ModalOverlay组件
- InstanceGroupPage/WorkflowPage/UsersPage/RedisDetailPage/TicketsPage已替换
- dialog.tsx添加onPointerDownOutside/onInteractOutside阻止外部点击
- index.css添加body[data-scroll-locked]覆盖Radix滚动锁定
- Layout.tsx main添加relative定位上下文
 2026-05-29 17:16:08 +08:00
logan 5366d5c963 refactor: 重写测试套件对齐Go后端API + 修复superadmin权限 
- 删除 29 个旧 Python 后端单元测试 (from app.* 导入已不适用)
- 重写 19 个集成测试文件对齐 Go/Gin 后端实际 API 行为:
  - 创建端点返回 201 (非 200)
  - Settings PUT 需要数组格式
  - SQL 审核 field 是 sql_content (非 sql)
  - 实例/审核规则列表不支持服务端过滤, 改为客户端过滤
  - 实例详情 MySQL 不可达时返回 500 (容错断言)
- 修复 RequireRole 中间件: superadmin 等同 admin 权限
- 测试结果: 81 passed, 4 skipped, 0 failed
 2026-05-29 16:12:32 +08:00