rlwj-lab/opsxsql
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
227 Commits 1 Branch 0 Tags
main
Commit Graph
10 Commits
Author SHA1 Message Date
opsx d6f27545ad fix(sqlite): DSN 加 busy_timeout/WAL/foreign_keys + 连接池上限，避免 database is locked 
=== 背景：这是 opsxsql 的「死锁类」风险 ===
LokiStack 是自研 JsonDB + sync.RWMutex，问题是**锁重入死锁**（已由上游 2e97c04 修复）。
opsxsql 用 SQLite + GORM，风险形式不同但后果相似：
  裸 DSN（不带任何 pragma）+ 默认 journal 模式 + 无连接池上限
  → 写事务与读事务互相阻塞，并发写直接返回 "database is locked"(SQLITE_BUSY)，
    表现为「点保存失败 / 偶发 500」，而且不会挂住所以更难定位。

静态扫描结论：opsxsql 33 个 Go 文件无 RWMutex 重入问题（0 处），
唯一 RWMutex 在 internal/ghost 且用法正确。日志中 0 次 SQLITE_BUSY
（并发压力尚未到临界点，属**潜在**风险）。

=== 修改 1：DSN pragma ===
  ?_busy_timeout=5000   遇锁等 5 秒而不是立刻失败
  &_journal_mode=WAL    读写不互斥，写不阻塞读
  &_synchronous=NORMAL  WAL 下常规安全级别
  &_foreign_keys=on     SQLite 默认关闭外键，容易埋脏数据
仅在 DBPath 不含 "?" 时追加，保留运维自定义 DSN 的能力。

=== 修改 2：连接池上限 4 ===
SQLite 同时只允许一个写者，连接开太多只会加剧锁竞争。

=== 修改 3：ghost.go 回调移出锁（防御性）===
原来 cb(taskID, result.Output) 在持有 Manager.mu 写锁时执行；
若调用方在回调里查任务状态（GetTaskStatus 需要 RLock）会永久死锁。
当前所有调用方都传 nil，属潜在问题，一并修掉。

=== 实测（46a97a5c11b7，ns=sql）===
  Pod 1/1 Running，重启 0
  /app/data 出现 sqlite3.db-wal + sqlite3.db-shm  → WAL 已生效
  日志 0 次 database is locked / SQLITE_BUSY
 2026-10-30 18:40:03 +00:00
opsx 0c57e18f19 feat(log): Gin 改结构化 JSON 访问日志 + 保留期自动清理（含 VACUUM 回收） 
=== 一、审计结论（用户问：gin 日志是否标准、会不会打爆磁盘）===
现状是标准的：gin.Default() 写 stdout，代码里没有任何
gin.DefaultWriter / log.SetOutput / lumberjack / os.OpenFile 写日志文件；
容器内 /var/log 是空的，find / -name "*.log" 无结果；
kubelet containerLogMaxSize=10Mi / containerLogMaxFiles=5 自动轮转，
实测 /var/log 只占 120G 磁盘的 0.8%。

但发现两个真问题：
  1. 访问日志是 gin 默认文本格式，Loki 里没法按字段过滤
  2. 审计日志/查询历史等只配了保留天数，**没有任何自动清理** ——
     只有手动按钮，表会一直涨，SQLite 文件删了也不缩

=== 二、结构化 JSON 访问日志（middleware/accesslog.go）===
gin.Default() → gin.New() + AccessLog() + gin.Recovery() + CORSMiddleware
  - 一行一个 JSON：ts/level/type/method/path/status/latency_ms/bytes/ip/ua
  - 自动分级：5xx=error / 4xx=warn / 其余=info
  - 鉴权后带 user_id / username，便于审计
  - 健康检查与 /assets 静音（K8s 探针每 10s 一次，会淹没真实请求）
  - Recovery 显式加回（gin.Default 里包含它，漏了 panic 会打挂进程）

⚠️ 关键细节：Go 的 map 序列化按 key 字母序，ts 会排到最后，
   一行以 {"bytes":... 开头根本看不出时间。LogJSON 手工拼装，
   把 ts/level/type/msg 固定在最前，其余排序输出。

=== 三、保留期自动清理（handler/cleanup.go）===
启动 2 分钟后跑一次，之后每 24h 一次；cleanup_auto_enabled=false 可关。

覆盖 8 张会无限增长的表（原来只管 4 张）：
  audit_logs / query_histories / slow_logs / tickets
  + operation_logs / workflow_execution_logs / scheduled_task_logs（新增）
  + refresh_tokens（按 expires_at < now，过期不清理会每次登录加一行）

设计取舍：
  - 每批删 5000 行、批间 sleep 50ms：SQLite 单写者，一条 DELETE 全删会把库锁死
  - 单表单轮最多 20 万行，剩下的留给下一轮
  - deleted 后看 freelist/page_count，>25% 才 VACUUM（DELETE 不还磁盘，必须 VACUUM）
  - 保留天数 <=0 视为不清理，避免误配把数据全删

手动接口同步改造：/settings/cleanup/{preview,run} 复用同一套逻辑，
返回结构改为 {deleted, total, vacuumed, freed_bytes, cost_ms}。

新增系统设置（seed 自动补，已实测 8 个 key 全部落库）：
  operation_log_retention_days=365  workflow_log_retention_days=180
  scheduled_log_retention_days=180  cleanup_auto_enabled=true

=== 四、实测 ===
访问日志：{"ts":"2026-10-27T14:46:39.58Z","level":"info","type":"access","bytes":668,"ip":"...","latency_ms":78.6,"method":"POST","path":"/api/v1/auth/login","status":200,...}
health 日志行数: 0 ✅   [GIN] 文本行数: 0 ✅   非 JSON 行: 4（仅启动）
cleanup preview: 8 张表的 count/days ✅
cleanup run: {"cost_ms":1,"deleted":{},"freed_bytes":0,"vacuumed":false,"total":0} ✅

镜像：lghost/opsxsql:latest + v0.1 = sha256:30593de3fc09
 2026-10-27 14:49:45 +00:00
opsx 7dfbc0b680 feat(redis): 大 key 分页 + 流式导出（含票据鉴权）+ 查询行数上限默认 5000 
=== 一、问题：大 key 会把内存打爆，且查询结果没有导出 ===
RedisGetKeyDetail 原来对每种类型都是全量读取：
  string → GET        list → LRANGE 0 -1     set → SMEMBERS
  zset   → ZRANGE 0 -1                        hash → HGETALL
然后整包序列化返回。像 PERP:market:* 这类盘口/kline key，
一个 key 几十万条就会：Go 侧整值入内存 → JSON 序列化翻倍 → 浏览器渲染卡死。

=== 二、后端：键详情分页（统一令牌，兼容四种类型）===
GET /redis/:id/keys/:key?db=&count=&token=
  count  默认 200，硬上限 2000
  token  语义按类型区分，前端无感知：
           list / zset  → 十进制 offset（LRANGE / ZRANGE 区间）
           hash / set   → Redis SCAN 游标（HSCAN / SSCAN）
           string       → 忽略
  返回   total / count / nextToken / truncated / previewCap

string 特殊处理：不能分页，改为预览上限 256KB
  - 用 STRLEN 拿真实大小（O(1)）
  - 超过上限时用 GETRANGE 只取前 256KB，truncated=true
  - 完整内容只能靠导出

新增 wrapper 方法：HScan / ZScan / HLen / ZCard / StrLen / GetRange
（HGETALL、SMEMBERS、ZRANGE 0 -1 一律不再用于详情读取）

=== 三、后端：流式导出（两段式票据，避免令牌进 URL 日志）===
① POST /redis/:id/keys/:key/export-ticket   （走 Bearer 鉴权）
     → HMAC-SHA256(JWTSecret, instance|db|key|exp) 生成票据，2 分钟过期，
       绑定具体 instance/db/key，不能跨 key 复用
② GET  /redis/:id/keys/:key/export?db=&format=csv|jsonl&ticket=
     → 注册在鉴权组【之外】，靠票据校验
     为什么这么做：浏览器原生下载（<a download>/window.open）带不了
     Authorization 头；若前端用 axios 取 blob，整份导出会进浏览器内存，
     与「大 key 不爆内存」的目标相悖。

导出实现全程流式（服务端内存 = 单批 + 64KB 缓冲）：
  string → GETRANGE 256KB 分块
  list   → LRANGE 每批 1000
  zset   → ZRANGE WITHSCORES 每批 1000
  hash   → HSCAN 游标每批 1000
  set    → SSCAN 游标每批 1000
单次上限 200 万行；CSV 带 UTF-8 BOM（Excel 直接打开不乱码）；
列顺：hash(field,value) / list(index,value) / set(member) / zset(rank,member,score)

=== 四、前端：详情面板加分页条 + 4 个导出按钮 ===
RedisKeyDetailPanel：
  - 「共 N 条 · 第 X 页 · 每页 [100/200/500/1000/2000]」+ 上一页/下一页
  - SCAN 游标不可逆，上一页用令牌栈回放
  - string 超预览上限时显示黄色提示「仅预览前 256KB，共 N 字节」
  - 导出四档：当前页 CSV / 当前页 JSON（纯前端，瞬时）
             导出全部 CSV / 导出全部 JSONL（服务端流式，边读边写）
  顺带修掉头注释里「已知限制：大值不分页」的过时说明。

=== 五、查询行数上限：默认 1000 → 5000，并修掉硬编码 ===
用户要求：「默认设置里面有查询最大上限吧 比如 mysql pg 查询最大Limit限制 5000」

发现两个问题：
1. seed 默认值只有 1000（main.go query_limit_max）
2. ExecuteQuery 里还有一段硬编码：
     if input.Limit <= 0 { input.Limit = maxLimit; if input.Limit > 1000 { input.Limit = 1000 } }
   → 管理员把设置改成 5000 也白搭，前端不传 limit 时永远被压回 1000

修复：
  - seed 默认值 1000 → 5000（Value + DefaultValue）
  - getSettingInt("query_limit_max", 1000) → 5000
  - 删掉硬编码 1000 封顶，唯一口径就是设置值
  - 线上已有记录的 value 已通过 PUT /settings 改成 5000（seed 只在缺失时插入，不会自动更新旧值）

对 MySQL / PostgreSQL / Redis / MongoDB 统一生效（ExecuteQuery 按 db_type 分发，
limit 在入口处统一 clamp）。

=== 六、实测结果（线上）===
分页：
  zset PERP:market:kline:symbol_kline_12h_AAVEUSDT_PERP_MARK
        total=83，count=5 → 第1页 5 条 nextToken=5 → 第2页 5 条 nextToken=10，数据不同 ✅
  hash ST:market:ticker:symbol_ticker
        total=27，count=3 → 第1页 3 字段 nextToken=24 → 第2页 3 字段（完全不同）✅
  string PERP:market:depth:symbol_depth_BTCUSDT_PERP
        STRLEN=14192 → 导出 14192 字节，完全一致 ✅（实时 key 两次采样有差异属正常）
导出：
  zset CSV  200 / 30970 字节 / 84 行（header+83）✅
  zset JSONL 200 / 84 行 ✅
  string CSV 200 / 分块 GETRANGE 拼接完整 ✅
  无票据 → 403 ✅   伪造票据 → 403 ✅
查询上限：
  limit=99999 → 5000 行 ✅    limit=0（默认）→ 5000 行 ✅
SQL 导出 CSV（原已存在 ExportQueryCSV，支持 mysql/pg/redis/mongo）200 / 101 行 ✅

镜像：lghost/opsxsql:latest + v0.1 = sha256:68fc996681c6
 2026-10-27 09:14:02 +00:00
Logan.Li 0b16488029 feat(deploy): single-image docker-compose and kubernetes install.sh 
- multi-stage root Dockerfile (opsx-loki pattern): frontend dist +
  go binary + gh-ost in one alpine image, non-root user, HEALTHCHECK,
  entrypoint warning for missing SECRET_KEY; gin now serves the SPA
  from DIST_DIR (asset/db-logos/favicon passthrough, /api returns JSON
  404, SPA fallback to index.html) - one origin, no CORS surface
- docker-compose.yml rewritten: single service, named data volume,
  no-new-privileges + cap_drop ALL, /health healthcheck, resource
  limits, log rotation; SECRET_KEY required (openssl rand -hex 32),
  JWT_SECRET optional (auto-generated and persisted in prod)
- kubernetes/: install.sh one-command deploy (idempotent secret
  reuse, --nodeport/--ingress flags, rollout wait, backup tips) plus
  namespace/secret/pvc/deployment(single replica + Recreate, probes,
  resource limits, non-root)/service/nodeport/ingress manifests and
  README (sqlite single-writer constraints, snapshot backup)
- docs: README quick-start now has 3 deployment paths; ARCHITECTURE
  ch.14 expanded

single-image runtime verified locally (SPA/assets/api/login coexist
on :9002); full image build left to server (docker hub unreachable
from this machine)
 2026-10-26 20:33:26 +08:00
Logan.Li d867c276d4 chore(frontend): engineering baseline per guide ch.8 
- toolchain: vitest+jsdom (15 tests green: permission pure functions
  exhaustive, storage migration), prettier (printWidth 120 to fit the
  dense existing style + 700-line page budget), commitlint conventional
- npm scripts: typecheck / format / test / lint:fix; build fingerprint
  __APP_VERSION__ (version+git hash+build time) shown in Settings > about
- git hooks via core.hooksPath=frontend/.husky: pre-commit lint-staged
  (prettier + eslint --fix best-effort), commit-msg commitlint
- permission pure functions extracted to lib/permissions.ts (single
  source consumed by useAuth/useLogin); AuditLogsPage filters on URL
- backend: resp package unit tests; health version constant aligned
  with frontend package.json
 2026-10-26 17:58:59 +08:00
Logan.Li 16f1f7d65f feat(backend): unified response helpers, refresh token, security hardening 
- new resp package (OK/Page/Fail/BadRequest/.../InternalErr): unified error
  envelope {detail, code?}, sanitized 500s (full error logged server-side,
  generic message to client - stops DB error leakage), pagination envelope
  {items,total,page,page_size}; migrate 200+ inline c.JSON error sites
- refresh token: 7d rotation tokens (SHA-256 hashed at rest), public
  POST /auth/refresh with single-use rotation, POST /auth/logout revokes
  all user refresh tokens (endpoint previously missing - frontend 404)
- security: gh-ost command line password masked in task status payload;
  Instance.MarshalJSON guarantees encrypted passwords never leave the API
  (removes reliance on per-handler manual masking); production (DEBUG=false)
  with default JWT secret now auto-generates and persists a random secret
- safe.Go recover wrapper for background goroutines (instance probe,
  gh-ost async)
- delete dead service layer (zero callers)
- fix pre-existing go vet unkeyed bson.E literals
 2026-10-26 17:21:00 +08:00
logan bc2092a980 feat: 平台配置全面生效 — 配置策略接入实际逻辑 
- query组: ExecuteQuery读取query_limit_max/query_timeout/query_dangerous_pattern
  - 查询超时通过context.WithTimeout生效，db.QueryContext/QueryRowContext
  - 危险模式检测拦截无WHERE的DELETE/UPDATE/DROP/TRUNCATE
  - LIMIT上限从settings读取，不再硬编码1000

- security组: Login读取login_max_attempts/login_lockout_minutes
  - 新增User字段: failed_login_attempts + locked_until
  - 登录失败达到阈值自动锁定，成功时清除计数
  - JWT Token过期时间读取session_timeout_hours设置

- executor组: ExecuteTicket读取executor_timeout/executor_dry_run
  - 执行超时通过context.WithTimeout控制
  - 开启dry_run时先EXPLAIN预检查SQL语法
  - db.ExecContext替代db.Exec

- cleanup组: SettingsCleanupPreview/Run从占位改为真实实现
  - 预览统计4类数据(工单/查询历史/慢日志/审计日志)待清理数量
  - 执行清理按retention_days配置删除过期数据

- ghost组: 13项gh-ost配置加入seedDefaultSettings
  - enabled/path/mode/osc_priority/env/cloud/trigger/chunk/load/lag等
  - 已被ghost.go中getGhostConfig等函数读取

- 前端: PlatformConfigPage新增Ghost/OSC分组显示
 2026-06-01 01:00:23 +08:00
logan ad12f30355 feat: 添加 seed.go 初始化文件 — 默认用户+审批流程+系统设置 
- seedDefaultUsers: 4个默认用户(admin/dba/auditor/developer, 密码admin123)
- seedDefaultWorkflow: 默认审批流程(提交→DBA审核→执行)
- seedDefaultSettings: 数据脱敏默认配置
- 所有操作幂等，已有数据不覆盖
- main.go调用seedAll()统一初始化
 2026-05-29 21:31:25 +08:00
logan 557d88d3ed feat: 数据脱敏体系重构 — 全局设置+masked_columns+前端去硬编码 
后端:
- applyDataMasking 新增 masked_columns 返回字段，告诉前端哪些列被脱敏
- seedDefaultSettings 添加 data_masking 分组(启用开关+敏感字段列表)
- 脱敏逻辑: 全局敏感字段 + 实例级 mask_fields 合并，开关关闭则跳过

前端:
- QueriesPage 去掉硬编码 sensitiveKeywords 和 maskData()
- 改用后端返回的 masked_columns 显示'敏'标签
- 脱敏值由后端统一处理(替换为*)
- PlatformConfigPage 数据脱敏分组独立显示
- EditInstanceDialog 脱敏字段简化为逗号分隔输入

验证:
- 设置页开关可正常开关/保存
- 查询 ghost_test: email列被脱敏为*，列头显示'敏'标签
- 非敏感列(name, id, status)正常显示
 2026-05-28 23:26:10 +08:00
logan ca308e277d feat: v0.3.1 — Go/Gin 后端重写 + gh-ost 集成 
架构变更:
- Python/FastAPI → Go/Gin 重写（Python 后端保留在 backend-python/）
- GORM + SQLite（兼容现有数据库表结构）
- JWT 认证 + RBAC 权限中间件

Go 后端结构:
- cmd/server/main.go — 入口，端口 9000
- config/config.go — 环境变量配置
- internal/model/ — GORM 模型（30张表，完全兼容 SQLite）
- internal/handler/ — auth/instance/ticket/dashboard/ghost handler
- internal/middleware/ — JWT 认证 + CORS
- internal/ghost/ — gh-ost 集成模块（同步/异步执行，任务管理）
- router/router.go — API 路由注册（/api/v1/...）

gh-ost 集成:
- RunGhOst() 同步执行
- RunGhOstAsync() 异步执行 + 进度追踪
- TaskManager 管理多个并发任务
- API: POST /ghost/dry-run, /ghost/execute, GET /ghost/status/:taskId

核心 API 已对齐:
- POST /auth/login (JWT)
- GET /dashboard/stats, /dashboard/my-tickets
- GET /tickets/statistics, CRUD + approve/execute
- GET/POST/PUT/DELETE /instances
- GET /users, /audit-rules, /announcements, /settings

已验证:
- 登录 admin/admin123 ✅
- Dashboard 99工单/110查询/4实例 ✅
- 工单统计按角色过滤 ✅
 2026-05-25 21:40:54 +08:00