审计发现 5 处硬伤(/metrics 空壳、零备份、prod 双副本数据分裂、零审计、资源偏紧),
本轮全部落地。
=== P0-1 真实 /metrics(原来是空壳)===
原实现只返回一行注释 `# LokiStack Metrics`,注释却写着"可被 Prometheus 抓取",
平台挂了/DB 写不进去/告警引擎卡死都只能靠用户反馈。
现接入 prometheus/client_golang,四层指标:
HTTP : lokistack_http_requests_total / _duration_seconds / _in_flight_requests
存储 : lokistack_db_size_bytes / _db_save_duration_seconds / _db_save_total / _db_records
业务 : lokistack_deployments{status,mode} / lokistack_collectors{status,type,run_mode}
后台任务: lokistack_alert_evaluations_total / _duration_seconds / lokistack_loki_queries_total
+ go_* / process_*(GoCollector、ProcessCollector)
关键点:path 标签用 c.FullPath() 路由模板,不用原始 URL —— 否则 117 个 Deployment
会把 Prometheus 基数炸掉。指标定义下沉 pkg/metrics 叶子包,避开
services ↔ repository 循环依赖。
=== P0-2 备份与恢复(原来 0 处代码)===
平台全部状态在 /app/data/opsxloki.json(51KB)+ kubeconfigs/ + known_hosts/,
DB 丢了 = 失去"这些资源是谁建的"的映射,从此无法管理/卸载/升级在跑的 Loki。
CLI : lokistack backup --output <path> / restore <pkg> / self-check / version
API : GET /system/backup(下载)/ POST /system/restore(校验暂存)/
POST /system/restore/apply(确认应用)/ GET /system/backups
K8s : kubernetes/pdb-backup.yaml —— 每日 03:30 CronJob,保留最近 7 份
安全设计:
- manifest.json 记录 ENCRYPTION_KEY 的 sha256 前 16 位**指纹**,用于恢复时
校验"这把钥匙能不能解开这份备份",不泄露密钥本身
- 恢复分两步(校验暂存 → 确认应用),应用前自动把当前 DB 备份为
opsxloki.json.before-restore.<时间戳>
- 包内不含明文密钥(kubeconfig 本就是加密态)
=== P0-3 prod compose 双副本 → 单副本 ===
lokistack-1 / lokistack-2 各挂独立数据卷 + nginx 轮询 = 数据分裂:
页面刷新两次可能看到不同结果,写操作只落一个副本。不是高可用。
已改单实例(nginx 仅做反代),文件顶部与 nginx.conf 都写明原因。
=== P0-4 操作审计日志(借鉴 /usr/local/src/aiops 的字段口径)===
aiops 是每个 controller 各写 recordXxxAudit();本平台有 60+ 写接口,
逐个埋点必然漏,漏掉的那个恰好最危险(删集群、改存储凭证)。
改为 **gin 中间件统一记录** + handler 通过 SetAudit 补充业务语义:
models/audit.go : 字段对齐 aiops,另加 Method/Path/Before/After
services/audit.go : 写入 + 90 天/2 万条自动裁剪 + 脱敏 + diff 生成
middleware/audit.go : 自动识别 module/action/resource,跳过只读接口
controllers/audit.go: 列表/详情/统计(仅 admin)
敏感字段(password/secretKey/privateKey/token)写入前统一替换为 ***。
=== P1 稳定性 ===
- 平台资源 1C/1Gi → 4C/4Gi 限(500m/512Mi 请求):JSON DB 全量读写 +
每分钟告警评估 + 批量发布并发,1Gi 会 OOM
- terminationGracePeriodSeconds: 30 —— 收到 SIGTERM 要等 DB 完整落盘,
否则 kubelet SIGKILL 会把 JSON 写一半(全库丢失)
- liveness timeoutSeconds 10s(默认 1s 写盘时会被误杀)
- PDB minAvailable: 0 —— 让 kubectl drain 正确等待重建,不卡维护
- DB schemaVersion + migrateSchema() 版本递进迁移(原先加字段全靠零值兜底)
- scripts/release.sh —— 不可变 tag <版本>-<日期>-<commit> + IfNotPresent,
根治 latest 并发构建互相覆盖导致的静默回滚(本项目已实际踩过)
- PVC 保持 30Gi(按长期增长预留,云盘单价低,不做在线扩容)
=== P2 易用性 ===
- 一键自检 GET /system/self-check + 仪表盘自检卡:真实探活 Loki /ready、
集群凭据解密、磁盘空间、主机状态、近 24h 失败操作
- 审计日志页 /audit:统计卡 + 用户名/模块/结果筛选 + 变更前后 diff 弹窗
- 菜单收敛 13 → 7(页内 tab 切换,URL 全部不变):
资源接入 = 集群 + 主机 + 存储
日志服务 = Loki 实例 + 采集器
日志 = 查询 + 分析
系统管理 = 用户 + 审计 + 设置
新增 GroupTabs 组件 + meta.group/groupKey,侧栏按分组去重并正确高亮
测试:go vet 通过、go test 全绿、tsc 通过
179 lines
5.2 KiB
Go
179 lines
5.2 KiB
Go
package main
|
||
|
||
import (
|
||
"context"
|
||
"encoding/json"
|
||
"errors"
|
||
"fmt"
|
||
"log"
|
||
"net/http"
|
||
"os"
|
||
"os/signal"
|
||
"path/filepath"
|
||
"strings"
|
||
"syscall"
|
||
"time"
|
||
|
||
"github.com/gin-gonic/gin"
|
||
|
||
"lokistack/config"
|
||
"lokistack/repository"
|
||
"lokistack/routers"
|
||
"lokistack/seed"
|
||
"lokistack/services"
|
||
)
|
||
|
||
// version 由构建注入(-ldflags "-X main.version=..."),未注入时为 dev
|
||
var version = "2.0.0"
|
||
|
||
// runCLI 提供不依赖 Web 的运维命令(备份 CronJob、恢复、自检都走它)。
|
||
//
|
||
// lokistack backup --output /app/data/backups/xxx.tar.gz
|
||
// lokistack restore <备份包路径> # 校验 + 立即应用(会先备份当前 DB)
|
||
// lokistack self-check # 打印 JSON 自检结果
|
||
func runCLI(args []string) {
|
||
switch args[0] {
|
||
case "backup":
|
||
out := ""
|
||
for i := 1; i < len(args); i++ {
|
||
if args[i] == "--output" && i+1 < len(args) {
|
||
out = args[i+1]
|
||
}
|
||
}
|
||
if out == "" {
|
||
out = "/app/data/backups/lokistack-" + time.Now().Format("20060102-150405") + ".tar.gz"
|
||
}
|
||
if err := os.MkdirAll(filepath.Dir(out), 0o700); err != nil {
|
||
fmt.Fprintf(os.Stderr, "创建备份目录失败: %v\n", err)
|
||
os.Exit(1)
|
||
}
|
||
f, err := os.Create(out)
|
||
if err != nil {
|
||
fmt.Fprintf(os.Stderr, "创建备份文件失败: %v\n", err)
|
||
os.Exit(1)
|
||
}
|
||
defer f.Close()
|
||
m, err := services.CreateBackup(f)
|
||
if err != nil {
|
||
fmt.Fprintf(os.Stderr, "备份失败: %v\n", err)
|
||
os.Exit(1)
|
||
}
|
||
fmt.Printf("备份完成: %s\n记录数: %d\n密钥指纹: %s\n", out, m.RecordCount, m.KeyFP)
|
||
|
||
case "restore":
|
||
if len(args) < 2 {
|
||
fmt.Fprintln(os.Stderr, "用法: lokistack restore <备份包.tar.gz>")
|
||
os.Exit(1)
|
||
}
|
||
f, err := os.Open(args[1])
|
||
if err != nil {
|
||
fmt.Fprintf(os.Stderr, "打开备份失败: %v\n", err)
|
||
os.Exit(1)
|
||
}
|
||
defer f.Close()
|
||
res, err := services.ValidateAndStageBackup(f)
|
||
if err != nil {
|
||
fmt.Fprintf(os.Stderr, "校验失败: %v\n", err)
|
||
os.Exit(1)
|
||
}
|
||
if res.Warning != "" {
|
||
fmt.Fprintf(os.Stderr, "⚠️ %s\n", res.Warning)
|
||
}
|
||
path, err := services.ApplyStagedBackup()
|
||
if err != nil {
|
||
fmt.Fprintf(os.Stderr, "应用失败: %v\n", err)
|
||
os.Exit(1)
|
||
}
|
||
fmt.Printf("恢复完成: %s(备份 %d 条记录)\n请重启平台进程使新数据生效。\n", path, res.RowsInBackup)
|
||
|
||
case "self-check":
|
||
b, _ := json.MarshalIndent(services.SelfCheck(), "", " ")
|
||
fmt.Println(string(b))
|
||
|
||
case "version":
|
||
fmt.Println(version)
|
||
|
||
default:
|
||
fmt.Fprintf(os.Stderr, "未知命令 %q。可用: backup / restore / self-check / version\n", args[0])
|
||
os.Exit(1)
|
||
}
|
||
}
|
||
|
||
func main() {
|
||
// 运维命令行:支持在容器/CronJob 里不经 Web 完成备份/恢复/自检
|
||
if len(os.Args) > 1 {
|
||
runCLI(os.Args[1:])
|
||
return
|
||
}
|
||
|
||
cfg := config.GetConfig()
|
||
|
||
// gin 默认是 debug 模式:每次启动会把上百行路由表 dump 到日志里,
|
||
// 且每个请求有额外开销。生产默认切 release,需要调试时显式设
|
||
// DEBUG=true 或 GIN_MODE=debug 覆盖。
|
||
if os.Getenv("GIN_MODE") == "" && !strings.EqualFold(os.Getenv("DEBUG"), "true") {
|
||
gin.SetMode(gin.ReleaseMode)
|
||
}
|
||
|
||
log.Println("Initializing database...")
|
||
if err := repository.InitDB(); err != nil {
|
||
log.Fatalf("Failed to init DB: %v", err)
|
||
}
|
||
|
||
// 指标注册要早于任何可能埋点的组件(middleware / alert engine)
|
||
services.InitMetrics(version)
|
||
log.Println("Metrics enabled at /api/v1/metrics")
|
||
|
||
log.Println("Seeding default data...")
|
||
seed.Seed()
|
||
|
||
// 安全迁移:历史明文 kubeconfig → 加密存储,并清理明文文件
|
||
services.MigrateClusterKubeconfigs()
|
||
|
||
// 孤儿部署状态恢复:进程重启会杀掉进行中的部署 goroutine,
|
||
// 残留的 "deploying" 状态将永远卡住(UI 无停止入口),启动时统一标记为失败。
|
||
repository.GetDB().RecoverOrphanDeployments()
|
||
|
||
services.StartAlertEngine()
|
||
defer services.StopAlertEngine()
|
||
|
||
r := routers.SetupRouter()
|
||
srv := &http.Server{
|
||
Addr: ":" + cfg.ServerPort,
|
||
Handler: r,
|
||
ReadTimeout: 30 * time.Second,
|
||
WriteTimeout: 130 * time.Second,
|
||
IdleTimeout: 120 * time.Second,
|
||
}
|
||
|
||
// 监听中断/终止信号,实现优雅关停:先停 HTTP(拒绝新请求、处理完在途请求),
|
||
// 再 flush 数据库,避免防抖/异步保存丢失最近写入。
|
||
ctx, stop := signal.NotifyContext(context.Background(), syscall.SIGINT, syscall.SIGTERM)
|
||
defer stop()
|
||
|
||
go func() {
|
||
log.Printf("lokistack starting on port %s", cfg.ServerPort)
|
||
log.Printf("API: http://localhost:%s/api/v1", cfg.ServerPort)
|
||
// 初始密码:首次启动日志中的「已生成管理员账号」,或数据卷 initial-admin-password.txt
|
||
log.Printf("首次部署请查看启动日志或 %s/initial-admin-password.txt 获取 admin 初始密码", cfg.DataDir)
|
||
if err := srv.ListenAndServe(); err != nil && !errors.Is(err, http.ErrServerClosed) {
|
||
log.Fatalf("Server failed: %v", err)
|
||
}
|
||
}()
|
||
|
||
<-ctx.Done()
|
||
log.Println("Shutdown signal received, draining connections...")
|
||
|
||
shutdownCtx, cancel := context.WithTimeout(context.Background(), 15*time.Second)
|
||
defer cancel()
|
||
if err := srv.Shutdown(shutdownCtx); err != nil {
|
||
log.Printf("HTTP shutdown error: %v", err)
|
||
}
|
||
|
||
log.Println("Flushing database...")
|
||
if err := repository.Shutdown(); err != nil {
|
||
log.Printf("DB shutdown error: %v", err)
|
||
}
|
||
log.Println("lokistack stopped")
|
||
}
|