Files
LokiStack/docker-compose.prod.yml
opsx b49677f6a6 feat: 运维标杆化打磨 P0/P1/P2 —— 审计日志、真实指标、备份恢复、菜单收敛
审计发现 5 处硬伤(/metrics 空壳、零备份、prod 双副本数据分裂、零审计、资源偏紧),
本轮全部落地。

=== P0-1 真实 /metrics(原来是空壳)===
原实现只返回一行注释 `# LokiStack Metrics`,注释却写着"可被 Prometheus 抓取",
平台挂了/DB 写不进去/告警引擎卡死都只能靠用户反馈。
现接入 prometheus/client_golang,四层指标:
  HTTP    : lokistack_http_requests_total / _duration_seconds / _in_flight_requests
  存储    : lokistack_db_size_bytes / _db_save_duration_seconds / _db_save_total / _db_records
  业务    : lokistack_deployments{status,mode} / lokistack_collectors{status,type,run_mode}
  后台任务: lokistack_alert_evaluations_total / _duration_seconds / lokistack_loki_queries_total
  + go_* / process_*(GoCollector、ProcessCollector)

关键点:path 标签用 c.FullPath() 路由模板,不用原始 URL —— 否则 117 个 Deployment
会把 Prometheus 基数炸掉。指标定义下沉 pkg/metrics 叶子包,避开
services ↔ repository 循环依赖。

=== P0-2 备份与恢复(原来 0 处代码)===
平台全部状态在 /app/data/opsxloki.json(51KB)+ kubeconfigs/ + known_hosts/,
DB 丢了 = 失去"这些资源是谁建的"的映射,从此无法管理/卸载/升级在跑的 Loki。

  CLI : lokistack backup --output <path> / restore <pkg> / self-check / version
  API : GET /system/backup(下载)/ POST /system/restore(校验暂存)/
        POST /system/restore/apply(确认应用)/ GET /system/backups
  K8s : kubernetes/pdb-backup.yaml —— 每日 03:30 CronJob,保留最近 7 份

安全设计:
  - manifest.json 记录 ENCRYPTION_KEY 的 sha256 前 16 位**指纹**,用于恢复时
    校验"这把钥匙能不能解开这份备份",不泄露密钥本身
  - 恢复分两步(校验暂存 → 确认应用),应用前自动把当前 DB 备份为
    opsxloki.json.before-restore.<时间戳>
  - 包内不含明文密钥(kubeconfig 本就是加密态)

=== P0-3 prod compose 双副本 → 单副本 ===
lokistack-1 / lokistack-2 各挂独立数据卷 + nginx 轮询 = 数据分裂:
页面刷新两次可能看到不同结果,写操作只落一个副本。不是高可用。
已改单实例(nginx 仅做反代),文件顶部与 nginx.conf 都写明原因。

=== P0-4 操作审计日志(借鉴 /usr/local/src/aiops 的字段口径)===
aiops 是每个 controller 各写 recordXxxAudit();本平台有 60+ 写接口,
逐个埋点必然漏,漏掉的那个恰好最危险(删集群、改存储凭证)。
改为 **gin 中间件统一记录** + handler 通过 SetAudit 补充业务语义:
  models/audit.go     : 字段对齐 aiops,另加 Method/Path/Before/After
  services/audit.go   : 写入 + 90 天/2 万条自动裁剪 + 脱敏 + diff 生成
  middleware/audit.go : 自动识别 module/action/resource,跳过只读接口
  controllers/audit.go: 列表/详情/统计(仅 admin)
敏感字段(password/secretKey/privateKey/token)写入前统一替换为 ***。

=== P1 稳定性 ===
- 平台资源 1C/1Gi → 4C/4Gi 限(500m/512Mi 请求):JSON DB 全量读写 +
  每分钟告警评估 + 批量发布并发,1Gi 会 OOM
- terminationGracePeriodSeconds: 30 —— 收到 SIGTERM 要等 DB 完整落盘,
  否则 kubelet SIGKILL 会把 JSON 写一半(全库丢失)
- liveness timeoutSeconds 10s(默认 1s 写盘时会被误杀)
- PDB minAvailable: 0 —— 让 kubectl drain 正确等待重建,不卡维护
- DB schemaVersion + migrateSchema() 版本递进迁移(原先加字段全靠零值兜底)
- scripts/release.sh —— 不可变 tag <版本>-<日期>-<commit> + IfNotPresent,
  根治 latest 并发构建互相覆盖导致的静默回滚(本项目已实际踩过)
- PVC 保持 30Gi(按长期增长预留,云盘单价低,不做在线扩容)

=== P2 易用性 ===
- 一键自检 GET /system/self-check + 仪表盘自检卡:真实探活 Loki /ready、
  集群凭据解密、磁盘空间、主机状态、近 24h 失败操作
- 审计日志页 /audit:统计卡 + 用户名/模块/结果筛选 + 变更前后 diff 弹窗
- 菜单收敛 13 → 7(页内 tab 切换,URL 全部不变):
    资源接入 = 集群 + 主机 + 存储
    日志服务 = Loki 实例 + 采集器
    日志     = 查询 + 分析
    系统管理 = 用户 + 审计 + 设置
  新增 GroupTabs 组件 + meta.group/groupKey,侧栏按分组去重并正确高亮

测试:go vet 通过、go test 全绿、tsc 通过
2026-10-28 21:27:01 +00:00

169 lines
5.0 KiB
YAML
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# ============================================================
# lokistack - Production Docker Compose Configuration
# ============================================================
# ⚠️ 重要:本平台是【单写者】架构,只能跑一个应用实例。
#
# 原因:全部状态存在 /app/data/opsxloki.json(JSON 文件 DB),
# 进程内用一把读写锁 + 全量写盘来保证一致性。两个实例各挂各的卷时:
# - 数据完全不共享 → 页面刷新两次可能看到不同结果(负载均衡打到不同实例)
# - 写操作只落一个实例 → 另一个实例随后全量写盘会把对方的数据覆盖掉
# - 不是高可用,是数据分裂
# 曾经此文件配置 lokistack-1 / lokistack-2 双实例 + nginx 轮询,
# 属于**看起来高可用、实际会丢数据**的错误配置,已改为单实例。
#
# 真要高可用,得先把存储层换成外部数据库(MySQL/PostgreSQL),
# 那是架构变更,不是加个副本能解决的。
#
# 本文件提供的生产特性:
# - 只读根文件系统 + tmpfs 可写目录(容器逃逸面收敛)
# - 严格资源限制与 pids 上限
# - Docker Secrets 注入密钥(不落环境变量/命令行)
# - 健康检查 + 优雅停机(30s,等 DB 落盘完成)
# - 日志轮转(json-file max-size/max-file)
# - nginx 只做 TLS/反代,不做负载均衡
# ============================================================
services:
# ---- Nginx 反向代理(单后端,仅做 TLS / 统一入口)----
nginx:
image: nginx:1.27-alpine
container_name: lokistack-lb
restart: unless-stopped
ports:
- "8080:8080"
volumes:
- ./nginx.conf:/etc/nginx/nginx.conf:ro
networks:
- lokistack-net
healthcheck:
test: ["CMD", "wget", "--no-verbose", "--tries=1", "--spider", "http://localhost:8080/api/v1/health"]
interval: 30s
timeout: 5s
retries: 3
deploy:
resources:
limits:
cpus: '0.5'
memory: 128M
reservations:
cpus: '0.1'
memory: 32M
logging:
driver: "json-file"
options:
max-size: "20m"
max-file: "3"
security_opt:
- no-new-privileges:true
cap_drop:
- ALL
cap_add:
- NET_BIND_SERVICE
read_only: true
tmpfs:
- /var/cache/nginx:noexec,nosuid,size=10m
- /var/run:noexec,nosuid,size=5m
depends_on:
lokistack:
condition: service_healthy
# ---- 应用(唯一实例)----
lokistack:
build:
context: .
dockerfile: Dockerfile
args:
TARGETARCH: ${TARGETARCH:-amd64}
image: lghost/lokistack:${IMAGE_TAG:-latest}
container_name: lokistack
hostname: lokistack
restart: unless-stopped
security_opt:
- no-new-privileges:true
cap_drop:
- ALL
cap_add:
- NET_BIND_SERVICE
# 只读根文件系统:数据目录与 tmpfs 之外不可写
read_only: true
tmpfs:
- /tmp:noexec,nosuid,size=50m,uid=1000,gid=1000
volumes:
# 唯一数据卷:DB + kubeconfigs/ + known_hosts/ + backups/
- lokistack-data:/app/data
- ${KUBECONFIG_PATH:-~/.kube}:/home/lokistack/.kube:ro
- ${SSH_KEY_PATH:-~/.ssh}:/home/lokistack/.ssh:ro
environment:
- SERVER_PORT=8080
- DATA_DIR=/app/data
- KUBECONFIG=/home/lokistack/.kube/config
# 密钥走 Docker Secrets 文件注入,不进环境变量(ps/env 里看不到)
- JWT_SECRET_FILE=${JWT_SECRET_FILE:-/run/secrets/jwt_secret}
- ENCRYPTION_KEY_FILE=${ENCRYPTION_KEY_FILE:-/run/secrets/encryption_key}
secrets:
- jwt_secret
- encryption_key
healthcheck:
# 用 API 健康端点而不是静态文件:静态文件返回 200 只能说明 nginx/文件在,
# 不能说明 DB 和业务可用
test: ["CMD", "wget", "--no-verbose", "--tries=1", "--spider", "http://localhost:8080/api/v1/health"]
interval: 30s
timeout: 5s
retries: 3
start_period: 20s
deploy:
resources:
limits:
# 平台要扛 JSON DB 全量读写 + 告警引擎 + 并发 API;
# 实测 1 核/256M 在批量发布时会顶到 OOM,这里按 2C/2G 起步
cpus: '2.0'
memory: 2G
pids: 200
reservations:
cpus: '0.5'
memory: 512M
restart_policy:
condition: on-failure
delay: 5s
max_attempts: 3
window: 60s
logging:
driver: "json-file"
options:
max-size: "50m"
max-file: "5"
# 优雅停机:给正在进行的 DB 落盘留时间,避免 JSON 被截断
stop_grace_period: 30s
networks:
- lokistack-net
# ---- Named Volumes ----
volumes:
lokistack-data:
driver: local
# ---- Docker Secrets ----
secrets:
jwt_secret:
file: ${JWT_SECRET_FILE_PATH:-./secrets/jwt_secret.txt}
encryption_key:
file: ${ENCRYPTION_KEY_FILE_PATH:-./secrets/encryption_key.txt}
# ---- Network ----
networks:
lokistack-net:
driver: bridge
ipam:
config:
- subnet: 172.28.1.0/24