审计发现 5 处硬伤(/metrics 空壳、零备份、prod 双副本数据分裂、零审计、资源偏紧),
本轮全部落地。
=== P0-1 真实 /metrics(原来是空壳)===
原实现只返回一行注释 `# LokiStack Metrics`,注释却写着"可被 Prometheus 抓取",
平台挂了/DB 写不进去/告警引擎卡死都只能靠用户反馈。
现接入 prometheus/client_golang,四层指标:
HTTP : lokistack_http_requests_total / _duration_seconds / _in_flight_requests
存储 : lokistack_db_size_bytes / _db_save_duration_seconds / _db_save_total / _db_records
业务 : lokistack_deployments{status,mode} / lokistack_collectors{status,type,run_mode}
后台任务: lokistack_alert_evaluations_total / _duration_seconds / lokistack_loki_queries_total
+ go_* / process_*(GoCollector、ProcessCollector)
关键点:path 标签用 c.FullPath() 路由模板,不用原始 URL —— 否则 117 个 Deployment
会把 Prometheus 基数炸掉。指标定义下沉 pkg/metrics 叶子包,避开
services ↔ repository 循环依赖。
=== P0-2 备份与恢复(原来 0 处代码)===
平台全部状态在 /app/data/opsxloki.json(51KB)+ kubeconfigs/ + known_hosts/,
DB 丢了 = 失去"这些资源是谁建的"的映射,从此无法管理/卸载/升级在跑的 Loki。
CLI : lokistack backup --output <path> / restore <pkg> / self-check / version
API : GET /system/backup(下载)/ POST /system/restore(校验暂存)/
POST /system/restore/apply(确认应用)/ GET /system/backups
K8s : kubernetes/pdb-backup.yaml —— 每日 03:30 CronJob,保留最近 7 份
安全设计:
- manifest.json 记录 ENCRYPTION_KEY 的 sha256 前 16 位**指纹**,用于恢复时
校验"这把钥匙能不能解开这份备份",不泄露密钥本身
- 恢复分两步(校验暂存 → 确认应用),应用前自动把当前 DB 备份为
opsxloki.json.before-restore.<时间戳>
- 包内不含明文密钥(kubeconfig 本就是加密态)
=== P0-3 prod compose 双副本 → 单副本 ===
lokistack-1 / lokistack-2 各挂独立数据卷 + nginx 轮询 = 数据分裂:
页面刷新两次可能看到不同结果,写操作只落一个副本。不是高可用。
已改单实例(nginx 仅做反代),文件顶部与 nginx.conf 都写明原因。
=== P0-4 操作审计日志(借鉴 /usr/local/src/aiops 的字段口径)===
aiops 是每个 controller 各写 recordXxxAudit();本平台有 60+ 写接口,
逐个埋点必然漏,漏掉的那个恰好最危险(删集群、改存储凭证)。
改为 **gin 中间件统一记录** + handler 通过 SetAudit 补充业务语义:
models/audit.go : 字段对齐 aiops,另加 Method/Path/Before/After
services/audit.go : 写入 + 90 天/2 万条自动裁剪 + 脱敏 + diff 生成
middleware/audit.go : 自动识别 module/action/resource,跳过只读接口
controllers/audit.go: 列表/详情/统计(仅 admin)
敏感字段(password/secretKey/privateKey/token)写入前统一替换为 ***。
=== P1 稳定性 ===
- 平台资源 1C/1Gi → 4C/4Gi 限(500m/512Mi 请求):JSON DB 全量读写 +
每分钟告警评估 + 批量发布并发,1Gi 会 OOM
- terminationGracePeriodSeconds: 30 —— 收到 SIGTERM 要等 DB 完整落盘,
否则 kubelet SIGKILL 会把 JSON 写一半(全库丢失)
- liveness timeoutSeconds 10s(默认 1s 写盘时会被误杀)
- PDB minAvailable: 0 —— 让 kubectl drain 正确等待重建,不卡维护
- DB schemaVersion + migrateSchema() 版本递进迁移(原先加字段全靠零值兜底)
- scripts/release.sh —— 不可变 tag <版本>-<日期>-<commit> + IfNotPresent,
根治 latest 并发构建互相覆盖导致的静默回滚(本项目已实际踩过)
- PVC 保持 30Gi(按长期增长预留,云盘单价低,不做在线扩容)
=== P2 易用性 ===
- 一键自检 GET /system/self-check + 仪表盘自检卡:真实探活 Loki /ready、
集群凭据解密、磁盘空间、主机状态、近 24h 失败操作
- 审计日志页 /audit:统计卡 + 用户名/模块/结果筛选 + 变更前后 diff 弹窗
- 菜单收敛 13 → 7(页内 tab 切换,URL 全部不变):
资源接入 = 集群 + 主机 + 存储
日志服务 = Loki 实例 + 采集器
日志 = 查询 + 分析
系统管理 = 用户 + 审计 + 设置
新增 GroupTabs 组件 + meta.group/groupKey,侧栏按分组去重并正确高亮
测试:go vet 通过、go test 全绿、tsc 通过
121 lines
4.1 KiB
TypeScript
121 lines
4.1 KiB
TypeScript
import { memo, useCallback, useEffect, useState } from 'react'
|
|
import { useTranslation } from 'react-i18next'
|
|
import { Activity, AlertTriangle, CheckCircle2, RefreshCw, XCircle } from 'lucide-react'
|
|
import { Card, CardContent, CardHeader, CardTitle } from '@/components/ui/card'
|
|
import { Button } from '@/components/ui/button'
|
|
import { systemApi, type SelfCheckResult } from '@/api/system'
|
|
|
|
/** 单项状态 → 图标与配色 */
|
|
function StatusIcon({ status }: { status: 'ok' | 'warn' | 'error' }) {
|
|
if (status === 'ok') return <CheckCircle2 className="h-4 w-4 text-success" />
|
|
if (status === 'warn') return <AlertTriangle className="h-4 w-4 text-warning" />
|
|
return <XCircle className="h-4 w-4 text-destructive" />
|
|
}
|
|
|
|
/**
|
|
* 一键自检 — 仪表盘顶部。
|
|
*
|
|
* 为什么放在仪表盘:新人接手/故障时第一眼看这里,不必在
|
|
* 「集群/主机/存储/部署/采集器」五个页面之间来回跳着判断"到底哪坏了"。
|
|
* 后端 /system/self-check 会真正探活(Loki /ready、集群凭证解密、磁盘空间),
|
|
* 不是只读配置推断。
|
|
*/
|
|
export const SelfCheckCard = memo(function SelfCheckCard() {
|
|
const { t } = useTranslation('dashboard')
|
|
const [data, setData] = useState<SelfCheckResult | null>(null)
|
|
const [loading, setLoading] = useState(true)
|
|
const [failed, setFailed] = useState(false)
|
|
|
|
const load = useCallback(async () => {
|
|
setLoading(true)
|
|
setFailed(false)
|
|
try {
|
|
setData(await systemApi.selfCheck())
|
|
} catch {
|
|
// 自检失败本身不代表平台坏了(可能是权限或接口异常),
|
|
// 这里静默降级,不打断仪表盘其它内容
|
|
setFailed(true)
|
|
} finally {
|
|
setLoading(false)
|
|
}
|
|
}, [])
|
|
|
|
useEffect(() => {
|
|
void load()
|
|
}, [load])
|
|
|
|
if (loading && !data) {
|
|
return (
|
|
<Card>
|
|
<CardContent className="flex items-center gap-2 p-4 text-sm text-muted-foreground">
|
|
<RefreshCw className="h-4 w-4 animate-spin" />
|
|
{t('selfCheck.loading')}
|
|
</CardContent>
|
|
</Card>
|
|
)
|
|
}
|
|
if (failed || !data) return null
|
|
|
|
const problems = data.items.filter(i => i.status !== 'ok')
|
|
const overallText =
|
|
data.overall === 'ok'
|
|
? t('selfCheck.allGood')
|
|
: data.overall === 'warn'
|
|
? t('selfCheck.needsAttention', { count: problems.length })
|
|
: t('selfCheck.hasError', { count: problems.length })
|
|
|
|
const borderClass =
|
|
data.overall === 'ok'
|
|
? 'border-success/30'
|
|
: data.overall === 'warn'
|
|
? 'border-warning/40'
|
|
: 'border-destructive/40'
|
|
|
|
return (
|
|
<Card className={borderClass}>
|
|
<CardHeader className="pb-2">
|
|
<CardTitle className="flex items-center gap-2 text-sm font-medium">
|
|
<Activity className="h-4 w-4" />
|
|
{t('selfCheck.title')}
|
|
<span
|
|
className={`ml-1 text-xs font-normal ${
|
|
data.overall === 'ok'
|
|
? 'text-success'
|
|
: data.overall === 'warn'
|
|
? 'text-warning'
|
|
: 'text-destructive'
|
|
}`}
|
|
>
|
|
{overallText}
|
|
</span>
|
|
<span className="ml-auto text-xs font-normal text-muted-foreground">
|
|
{new Date(data.checkedAt).toLocaleTimeString()}
|
|
</span>
|
|
<Button variant="ghost" size="sm" onClick={() => void load()} disabled={loading}>
|
|
<RefreshCw className={`h-3.5 w-3.5 ${loading ? 'animate-spin' : ''}`} />
|
|
</Button>
|
|
</CardTitle>
|
|
</CardHeader>
|
|
<CardContent className="flex flex-wrap gap-x-6 gap-y-2 pt-0">
|
|
{data.items.map(item => (
|
|
<div key={item.name} className="flex items-start gap-1.5 text-xs" title={item.detail || ''}>
|
|
<StatusIcon status={item.status} />
|
|
<span className="text-muted-foreground">{item.name}</span>
|
|
<span
|
|
className={
|
|
item.status === 'ok'
|
|
? 'text-foreground'
|
|
: item.status === 'warn'
|
|
? 'text-warning'
|
|
: 'text-destructive'
|
|
}
|
|
>
|
|
{item.message}
|
|
</span>
|
|
</div>
|
|
))}
|
|
</CardContent>
|
|
</Card>
|
|
)
|
|
})
|