feat: 运维标杆化打磨 P0/P1/P2 —— 审计日志、真实指标、备份恢复、菜单收敛
审计发现 5 处硬伤（/metrics 空壳、零备份、prod 双副本数据分裂、零审计、资源偏紧），
本轮全部落地。
=== P0-1 真实 /metrics（原来是空壳）===
原实现只返回一行注释 `# LokiStack Metrics`，注释却写着"可被 Prometheus 抓取"，
平台挂了/DB 写不进去/告警引擎卡死都只能靠用户反馈。
现接入 prometheus/client_golang，四层指标：
HTTP : lokistack_http_requests_total / _duration_seconds / _in_flight_requests
存储 : lokistack_db_size_bytes / _db_save_duration_seconds / _db_save_total / _db_records
业务 : lokistack_deployments{status,mode} / lokistack_collectors{status,type,run_mode}
后台任务: lokistack_alert_evaluations_total / _duration_seconds / lokistack_loki_queries_total
+ go_* / process_*（GoCollector、ProcessCollector）
关键点：path 标签用 c.FullPath() 路由模板，不用原始 URL —— 否则 117 个 Deployment
会把 Prometheus 基数炸掉。指标定义下沉 pkg/metrics 叶子包，避开
services ↔ repository 循环依赖。
=== P0-2 备份与恢复（原来 0 处代码）===
平台全部状态在 /app/data/opsxloki.json（51KB）+ kubeconfigs/ + known_hosts/，
DB 丢了 = 失去"这些资源是谁建的"的映射，从此无法管理/卸载/升级在跑的 Loki。
CLI : lokistack backup --output <path> / restore <pkg> / self-check / version
API : GET /system/backup（下载）/ POST /system/restore（校验暂存）/
POST /system/restore/apply（确认应用）/ GET /system/backups
K8s : kubernetes/pdb-backup.yaml —— 每日 03:30 CronJob，保留最近 7 份
安全设计：
- manifest.json 记录 ENCRYPTION_KEY 的 sha256 前 16 位**指纹**，用于恢复时
校验"这把钥匙能不能解开这份备份"，不泄露密钥本身
- 恢复分两步（校验暂存 → 确认应用），应用前自动把当前 DB 备份为
opsxloki.json.before-restore.<时间戳>
- 包内不含明文密钥（kubeconfig 本就是加密态）
=== P0-3 prod compose 双副本 → 单副本 ===
lokistack-1 / lokistack-2 各挂独立数据卷 + nginx 轮询 = 数据分裂：
页面刷新两次可能看到不同结果，写操作只落一个副本。不是高可用。
已改单实例（nginx 仅做反代），文件顶部与 nginx.conf 都写明原因。
=== P0-4 操作审计日志（借鉴 /usr/local/src/aiops 的字段口径）===
aiops 是每个 controller 各写 recordXxxAudit()；本平台有 60+ 写接口，
逐个埋点必然漏，漏掉的那个恰好最危险（删集群、改存储凭证）。
改为 **gin 中间件统一记录** + handler 通过 SetAudit 补充业务语义：
models/audit.go : 字段对齐 aiops，另加 Method/Path/Before/After
services/audit.go : 写入 + 90 天/2 万条自动裁剪 + 脱敏 + diff 生成
middleware/audit.go : 自动识别 module/action/resource，跳过只读接口
controllers/audit.go: 列表/详情/统计（仅 admin）
敏感字段（password/secretKey/privateKey/token）写入前统一替换为 ***。
=== P1 稳定性 ===
- 平台资源 1C/1Gi → 4C/4Gi 限（500m/512Mi 请求）：JSON DB 全量读写 +
每分钟告警评估 + 批量发布并发，1Gi 会 OOM
- terminationGracePeriodSeconds: 30 —— 收到 SIGTERM 要等 DB 完整落盘，
否则 kubelet SIGKILL 会把 JSON 写一半（全库丢失）
- liveness timeoutSeconds 10s（默认 1s 写盘时会被误杀）
- PDB minAvailable: 0 —— 让 kubectl drain 正确等待重建，不卡维护
- DB schemaVersion + migrateSchema() 版本递进迁移（原先加字段全靠零值兜底）
- scripts/release.sh —— 不可变 tag <版本>-<日期>-<commit> + IfNotPresent，
根治 latest 并发构建互相覆盖导致的静默回滚（本项目已实际踩过）
- PVC 保持 30Gi（按长期增长预留，云盘单价低，不做在线扩容）
=== P2 易用性 ===
- 一键自检 GET /system/self-check + 仪表盘自检卡：真实探活 Loki /ready、
集群凭据解密、磁盘空间、主机状态、近 24h 失败操作
- 审计日志页 /audit：统计卡 + 用户名/模块/结果筛选 + 变更前后 diff 弹窗
- 菜单收敛 13 → 7（页内 tab 切换，URL 全部不变）：
资源接入 = 集群 + 主机 + 存储
日志服务 = Loki 实例 + 采集器
日志 = 查询 + 分析
系统管理 = 用户 + 审计 + 设置
新增 GroupTabs 组件 + meta.group/groupKey，侧栏按分组去重并正确高亮
测试：go vet 通过、go test 全绿、tsc 通过
This commit is contained in:
opsx committed
1 parent
f6af12a731
commit
b49677f6a6
37 files changed
+2983
-147
No files matched your search
+44
-110
@@ -1,18 +1,30 @@
|
||||
# ============================================================
|
||||
# lokistack - Production Docker Compose Configuration
|
||||
# ============================================================
|
||||
# Features:
|
||||
# - Multi-instance deployment with load balancing
|
||||
# - Read-only root filesystem for security
|
||||
# - tmpfs for temporary directories
|
||||
# - Stricter resource limits
|
||||
# - Docker Secrets support
|
||||
# - Health checks with longer intervals
|
||||
# - Rolling update configuration
|
||||
# ⚠️ 重要：本平台是【单写者】架构，只能跑一个应用实例。
|
||||
#
|
||||
# 原因：全部状态存在 /app/data/opsxloki.json（JSON 文件 DB），
|
||||
# 进程内用一把读写锁 + 全量写盘来保证一致性。两个实例各挂各的卷时：
|
||||
# - 数据完全不共享 → 页面刷新两次可能看到不同结果（负载均衡打到不同实例）
|
||||
# - 写操作只落一个实例 → 另一个实例随后全量写盘会把对方的数据覆盖掉
|
||||
# - 不是高可用，是数据分裂
|
||||
# 曾经此文件配置 lokistack-1 / lokistack-2 双实例 + nginx 轮询，
|
||||
# 属于**看起来高可用、实际会丢数据**的错误配置，已改为单实例。
|
||||
#
|
||||
# 真要高可用，得先把存储层换成外部数据库（MySQL/PostgreSQL），
|
||||
# 那是架构变更，不是加个副本能解决的。
|
||||
#
|
||||
# 本文件提供的生产特性：
|
||||
# - 只读根文件系统 + tmpfs 可写目录（容器逃逸面收敛）
|
||||
# - 严格资源限制与 pids 上限
|
||||
# - Docker Secrets 注入密钥（不落环境变量/命令行）
|
||||
# - 健康检查 + 优雅停机（30s，等 DB 落盘完成）
|
||||
# - 日志轮转（json-file max-size/max-file）
|
||||
# - nginx 只做 TLS/反代，不做负载均衡
|
||||
# ============================================================
|
||||
|
||||
services:
|
||||
# ---- Nginx Load Balancer ----
|
||||
# ---- Nginx 反向代理（单后端，仅做 TLS / 统一入口）----
|
||||
nginx:
|
||||
image: nginx:1.27-alpine
|
||||
container_name: lokistack-lb
|
||||
@@ -24,7 +36,7 @@ services:
|
||||
networks:
|
||||
- lokistack-net
|
||||
healthcheck:
|
||||
test: ["CMD", "wget", "--no-verbose", "--tries=1", "--spider", "http://localhost:8080/health"]
|
||||
test: ["CMD", "wget", "--no-verbose", "--tries=1", "--spider", "http://localhost:8080/api/v1/health"]
|
||||
interval: 30s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
@@ -52,21 +64,19 @@ services:
|
||||
- /var/cache/nginx:noexec,nosuid,size=10m
|
||||
- /var/run:noexec,nosuid,size=5m
|
||||
depends_on:
|
||||
lokistack-1:
|
||||
condition: service_healthy
|
||||
lokistack-2:
|
||||
lokistack:
|
||||
condition: service_healthy
|
||||
|
||||
# ---- Application Instance 1 ----
|
||||
lokistack-1:
|
||||
# ---- 应用（唯一实例）----
|
||||
lokistack:
|
||||
build:
|
||||
context: .
|
||||
dockerfile: Dockerfile
|
||||
args:
|
||||
TARGETARCH: ${TARGETARCH:-amd64}
|
||||
image: lghost/lokistack:latest
|
||||
container_name: lokistack-1
|
||||
hostname: lokistack-1
|
||||
image: lghost/lokistack:${IMAGE_TAG:-latest}
|
||||
container_name: lokistack
|
||||
hostname: lokistack
|
||||
restart: unless-stopped
|
||||
|
||||
security_opt:
|
||||
@@ -76,26 +86,22 @@ services:
|
||||
cap_add:
|
||||
- NET_BIND_SERVICE
|
||||
|
||||
# P0: Read-only root filesystem
|
||||
# 只读根文件系统：数据目录与 tmpfs 之外不可写
|
||||
read_only: true
|
||||
|
||||
# P0: tmpfs for writable directories
|
||||
tmpfs:
|
||||
- /tmp:noexec,nosuid,size=50m,uid=1000,gid=1000
|
||||
|
||||
volumes:
|
||||
# Named volume for data persistence
|
||||
- lokistack-data-1:/app/data
|
||||
# kubeconfig read-only (P0: non-root path)
|
||||
# 唯一数据卷：DB + kubeconfigs/ + known_hosts/ + backups/
|
||||
- lokistack-data:/app/data
|
||||
- ${KUBECONFIG_PATH:-~/.kube}:/home/lokistack/.kube:ro
|
||||
# SSH keys read-only
|
||||
- ${SSH_KEY_PATH:-~/.ssh}:/home/lokistack/.ssh:ro
|
||||
|
||||
environment:
|
||||
- SERVER_PORT=8080
|
||||
- DATA_DIR=/app/data
|
||||
- KUBECONFIG=/home/lokistack/.kube/config
|
||||
# Secrets via Docker Secrets file injection
|
||||
# 密钥走 Docker Secrets 文件注入，不进环境变量（ps/env 里看不到）
|
||||
- JWT_SECRET_FILE=${JWT_SECRET_FILE:-/run/secrets/jwt_secret}
|
||||
- ENCRYPTION_KEY_FILE=${ENCRYPTION_KEY_FILE:-/run/secrets/encryption_key}
|
||||
|
||||
@@ -103,24 +109,26 @@ services:
|
||||
- jwt_secret
|
||||
- encryption_key
|
||||
|
||||
# Health check
|
||||
healthcheck:
|
||||
test: ["CMD", "wget", "--no-verbose", "--tries=1", "--spider", "http://localhost:8080/index.html"]
|
||||
# 用 API 健康端点而不是静态文件：静态文件返回 200 只能说明 nginx/文件在，
|
||||
# 不能说明 DB 和业务可用
|
||||
test: ["CMD", "wget", "--no-verbose", "--tries=1", "--spider", "http://localhost:8080/api/v1/health"]
|
||||
interval: 30s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
start_period: 20s
|
||||
|
||||
# Stricter resource limits for production
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: '1.0'
|
||||
memory: 256M
|
||||
pids: 50
|
||||
# 平台要扛 JSON DB 全量读写 + 告警引擎 + 并发 API；
|
||||
# 实测 1 核/256M 在批量发布时会顶到 OOM，这里按 2C/2G 起步
|
||||
cpus: '2.0'
|
||||
memory: 2G
|
||||
pids: 200
|
||||
reservations:
|
||||
cpus: '0.25'
|
||||
memory: 64M
|
||||
cpus: '0.5'
|
||||
memory: 512M
|
||||
restart_policy:
|
||||
condition: on-failure
|
||||
delay: 5s
|
||||
@@ -132,90 +140,16 @@ services:
|
||||
options:
|
||||
max-size: "50m"
|
||||
max-file: "5"
|
||||
labels: "service,instance"
|
||||
|
||||
# 优雅停机：给正在进行的 DB 落盘留时间，避免 JSON 被截断
|
||||
stop_grace_period: 30s
|
||||
networks:
|
||||
- lokistack-net
|
||||
|
||||
# ---- Application Instance 2 ----
|
||||
lokistack-2:
|
||||
build:
|
||||
context: .
|
||||
dockerfile: Dockerfile
|
||||
args:
|
||||
TARGETARCH: ${TARGETARCH:-amd64}
|
||||
image: lghost/lokistack:latest
|
||||
container_name: lokistack-2
|
||||
hostname: lokistack-2
|
||||
restart: unless-stopped
|
||||
|
||||
security_opt:
|
||||
- no-new-privileges:true
|
||||
cap_drop:
|
||||
- ALL
|
||||
cap_add:
|
||||
- NET_BIND_SERVICE
|
||||
|
||||
read_only: true
|
||||
|
||||
tmpfs:
|
||||
- /tmp:noexec,nosuid,size=50m,uid=1000,gid=1000
|
||||
|
||||
volumes:
|
||||
- lokistack-data-2:/app/data
|
||||
- ${KUBECONFIG_PATH:-~/.kube}:/home/lokistack/.kube:ro
|
||||
- ${SSH_KEY_PATH:-~/.ssh}:/home/lokistack/.ssh:ro
|
||||
|
||||
environment:
|
||||
- SERVER_PORT=8080
|
||||
- DATA_DIR=/app/data
|
||||
- KUBECONFIG=/home/lokistack/.kube/config
|
||||
- JWT_SECRET_FILE=${JWT_SECRET_FILE:-/run/secrets/jwt_secret}
|
||||
- ENCRYPTION_KEY_FILE=${ENCRYPTION_KEY_FILE:-/run/secrets/encryption_key}
|
||||
|
||||
secrets:
|
||||
- jwt_secret
|
||||
- encryption_key
|
||||
|
||||
healthcheck:
|
||||
test: ["CMD", "wget", "--no-verbose", "--tries=1", "--spider", "http://localhost:8080/index.html"]
|
||||
interval: 30s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
start_period: 20s
|
||||
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: '1.0'
|
||||
memory: 256M
|
||||
pids: 50
|
||||
reservations:
|
||||
cpus: '0.25'
|
||||
memory: 64M
|
||||
restart_policy:
|
||||
condition: on-failure
|
||||
delay: 5s
|
||||
max_attempts: 3
|
||||
window: 60s
|
||||
|
||||
logging:
|
||||
driver: "json-file"
|
||||
options:
|
||||
max-size: "50m"
|
||||
max-file: "5"
|
||||
labels: "service,instance"
|
||||
|
||||
stop_grace_period: 30s
|
||||
networks:
|
||||
- lokistack-net
|
||||
|
||||
# ---- Named Volumes ----
|
||||
volumes:
|
||||
lokistack-data-1:
|
||||
driver: local
|
||||
lokistack-data-2:
|
||||
lokistack-data:
|
||||
driver: local
|
||||
|
||||
# ---- Docker Secrets ----
|
||||
|
||||
Reference in new issue
Block a user