opsx
b49677f6a6
审计发现 5 处硬伤（/metrics 空壳、零备份、prod 双副本数据分裂、零审计、资源偏紧），
本轮全部落地。
=== P0-1 真实 /metrics（原来是空壳）===
原实现只返回一行注释 `# LokiStack Metrics`，注释却写着"可被 Prometheus 抓取"，
平台挂了/DB 写不进去/告警引擎卡死都只能靠用户反馈。
现接入 prometheus/client_golang，四层指标：
HTTP : lokistack_http_requests_total / _duration_seconds / _in_flight_requests
存储 : lokistack_db_size_bytes / _db_save_duration_seconds / _db_save_total / _db_records
业务 : lokistack_deployments{status,mode} / lokistack_collectors{status,type,run_mode}
后台任务: lokistack_alert_evaluations_total / _duration_seconds / lokistack_loki_queries_total
+ go_* / process_*（GoCollector、ProcessCollector）
关键点：path 标签用 c.FullPath() 路由模板，不用原始 URL —— 否则 117 个 Deployment
会把 Prometheus 基数炸掉。指标定义下沉 pkg/metrics 叶子包，避开
services ↔ repository 循环依赖。
=== P0-2 备份与恢复（原来 0 处代码）===
平台全部状态在 /app/data/opsxloki.json（51KB）+ kubeconfigs/ + known_hosts/，
DB 丢了 = 失去"这些资源是谁建的"的映射，从此无法管理/卸载/升级在跑的 Loki。
CLI : lokistack backup --output <path> / restore <pkg> / self-check / version
API : GET /system/backup（下载）/ POST /system/restore（校验暂存）/
POST /system/restore/apply（确认应用）/ GET /system/backups
K8s : kubernetes/pdb-backup.yaml —— 每日 03:30 CronJob，保留最近 7 份
安全设计：
- manifest.json 记录 ENCRYPTION_KEY 的 sha256 前 16 位**指纹**，用于恢复时
校验"这把钥匙能不能解开这份备份"，不泄露密钥本身
- 恢复分两步（校验暂存 → 确认应用），应用前自动把当前 DB 备份为
opsxloki.json.before-restore.<时间戳>
- 包内不含明文密钥（kubeconfig 本就是加密态）
=== P0-3 prod compose 双副本 → 单副本 ===
lokistack-1 / lokistack-2 各挂独立数据卷 + nginx 轮询 = 数据分裂：
页面刷新两次可能看到不同结果，写操作只落一个副本。不是高可用。
已改单实例（nginx 仅做反代），文件顶部与 nginx.conf 都写明原因。
=== P0-4 操作审计日志（借鉴 /usr/local/src/aiops 的字段口径）===
aiops 是每个 controller 各写 recordXxxAudit()；本平台有 60+ 写接口，
逐个埋点必然漏，漏掉的那个恰好最危险（删集群、改存储凭证）。
改为 **gin 中间件统一记录** + handler 通过 SetAudit 补充业务语义：
models/audit.go : 字段对齐 aiops，另加 Method/Path/Before/After
services/audit.go : 写入 + 90 天/2 万条自动裁剪 + 脱敏 + diff 生成
middleware/audit.go : 自动识别 module/action/resource，跳过只读接口
controllers/audit.go: 列表/详情/统计（仅 admin）
敏感字段（password/secretKey/privateKey/token）写入前统一替换为 ***。
=== P1 稳定性 ===
- 平台资源 1C/1Gi → 4C/4Gi 限（500m/512Mi 请求）：JSON DB 全量读写 +
每分钟告警评估 + 批量发布并发，1Gi 会 OOM
- terminationGracePeriodSeconds: 30 —— 收到 SIGTERM 要等 DB 完整落盘，
否则 kubelet SIGKILL 会把 JSON 写一半（全库丢失）
- liveness timeoutSeconds 10s（默认 1s 写盘时会被误杀）
- PDB minAvailable: 0 —— 让 kubectl drain 正确等待重建，不卡维护
- DB schemaVersion + migrateSchema() 版本递进迁移（原先加字段全靠零值兜底）
- scripts/release.sh —— 不可变 tag <版本>-<日期>-<commit> + IfNotPresent，
根治 latest 并发构建互相覆盖导致的静默回滚（本项目已实际踩过）
- PVC 保持 30Gi（按长期增长预留，云盘单价低，不做在线扩容）
=== P2 易用性 ===
- 一键自检 GET /system/self-check + 仪表盘自检卡：真实探活 Loki /ready、
集群凭据解密、磁盘空间、主机状态、近 24h 失败操作
- 审计日志页 /audit：统计卡 + 用户名/模块/结果筛选 + 变更前后 diff 弹窗
- 菜单收敛 13 → 7（页内 tab 切换，URL 全部不变）：
资源接入 = 集群 + 主机 + 存储
日志服务 = Loki 实例 + 采集器
日志 = 查询 + 分析
系统管理 = 用户 + 审计 + 设置
新增 GroupTabs 组件 + meta.group/groupKey，侧栏按分组去重并正确高亮
测试：go vet 通过、go test 全绿、tsc 通过
74 lines
3.5 KiB
Bash
Executable File
74 lines
3.5 KiB
Bash
Executable File
#!/usr/bin/env bash
|
||
# ============================================================
|
||
# release.sh — 构建 + 推送 + 更新 K8s 清单为不可变 tag
|
||
# ============================================================
|
||
# 为什么需要它：
|
||
# 线上清单一直用 `lghost/lokistack:latest` + imagePullPolicy: Always。
|
||
# 这个组合的问题是**静默回滚**：任何一次构建（包括别人并行的、或几分钟前
|
||
# 基于旧代码启动的构建）都会覆盖 latest，节点重启后拉到的可能不是你以为的版本。
|
||
# 本项目已实际踩过：两个构建并行，后完成但代码更旧的把 latest 覆盖回去，
|
||
# Pod 跑回旧镜像，刚验过的功能"莫名消失"。
|
||
#
|
||
# 做法：
|
||
# 1) 用 <版本>-<日期>-<短commit> 作为不可变 tag（同 commit 同代码 → 同 tag）
|
||
# 2) 同时推 latest 供本地/开发使用（不用于生产清单）
|
||
# 3) 把 kubernetes/deployment.yaml 的 image 改成不可变 tag
|
||
# 4) 打印三方 digest 供核对（本地镜像 / Hub tag / Pod）
|
||
#
|
||
# 用法：
|
||
# bash scripts/release.sh # 构建 + 推送 + 改清单 + 部署
|
||
# bash scripts/release.sh --no-deploy # 只构建/推送/改清单，不 apply
|
||
# ============================================================
|
||
set -euo pipefail
|
||
|
||
cd "$(dirname "$0")/.."
|
||
|
||
IMAGE_REPO="${IMAGE_REPO:-lghost/lokistack}"
|
||
VERSION="${VERSION:-2.0.0}"
|
||
DEPLOY="${1:-}"
|
||
|
||
SHORT_SHA=$(git rev-parse --short=8 HEAD 2>/dev/null || echo "nogit")
|
||
DIRTY=""
|
||
if ! git diff --quiet 2>/dev/null; then
|
||
DIRTY="-dirty"
|
||
echo "⚠️ 工作区有未提交改动，tag 会带 -dirty 标记（发布前建议先提交）"
|
||
fi
|
||
TAG="${VERSION}-$(date +%Y%m%d)-${SHORT_SHA}${DIRTY}"
|
||
|
||
echo "=========================================="
|
||
echo " 构建镜像: ${IMAGE_REPO}:${TAG}"
|
||
echo "=========================================="
|
||
docker build -t "${IMAGE_REPO}:${TAG}" -t "${IMAGE_REPO}:latest" .
|
||
IMAGE_ID=$(docker images --format '{{.ID}}' "${IMAGE_REPO}:${TAG}" | head -1)
|
||
echo "✅ 构建完成 $IMAGE_ID"
|
||
|
||
echo "推送不可变 tag 与 latest..."
|
||
docker push "${IMAGE_REPO}:${TAG}" | tail -1
|
||
docker push "${IMAGE_REPO}:latest" | tail -1
|
||
|
||
echo "更新 kubernetes/deployment.yaml → ${IMAGE_REPO}:${TAG}"
|
||
# 只替换 image 行，pullPolicy 改成 IfNotPresent：
|
||
# 不可变 tag 不需要每次强拉，节点上有缓存就直接用（也避免仓库抖动导致启动失败）
|
||
sed -i "s|image: ${IMAGE_REPO}:.*|image: ${IMAGE_REPO}:${TAG}|" kubernetes/deployment.yaml
|
||
sed -i "s|imagePullPolicy: Always|imagePullPolicy: IfNotPresent|" kubernetes/deployment.yaml
|
||
|
||
if [ "${DEPLOY}" != "--no-deploy" ]; then
|
||
export KUBECONFIG="${KUBECONFIG:-/root/.kube/config}"
|
||
echo "应用清单..."
|
||
kubectl apply -f kubernetes/deployment.yaml
|
||
kubectl -n log rollout status deploy/lokistack --timeout=300s
|
||
POD_DIGEST=$(kubectl -n log get po -l app=lokistack -o jsonpath='{.items[0].status.containerStatuses[0].imageID}' 2>/dev/null | sed 's/.*@//')
|
||
echo ""
|
||
echo "=========================================="
|
||
echo " 部署完成，请核对三方 digest 一致："
|
||
echo " 清单 tag : ${IMAGE_REPO}:${TAG}"
|
||
echo " Pod : ${POD_DIGEST:0:19}"
|
||
echo "=========================================="
|
||
echo "⚠️ 记得把 deployment.yaml 的变更一并提交，否则下次 apply 会退回旧 tag"
|
||
fi
|
||
|
||
echo ""
|
||
echo "回滚方法："
|
||
echo " git log --oneline -- kubernetes/deployment.yaml # 找上一个 tag"
|
||
echo " git checkout <commit> -- kubernetes/deployment.yaml && kubectl apply -f kubernetes/deployment.yaml"
|