feat(alerts,logs): A 方案—告警窗口 15m→5m 消重复扫描;数据源可编辑/删除且删后不被自动重建
CI / Backend (go vet + test) (push) Canceled after 0s
CI / Frontend (lint + build + test) (push) Canceled after 0s

=== 1. 告警窗口 15m → 5m(阈值同比例 1/3)===
背景:检查间隔已改 5 分钟,但规则窗口仍是 15 分钟 ——
同一个 15 分钟窗口每 5 分钟被完整重扫一遍,等于 3 倍重复扫描。
在 370GB/天、全命名空间 selector 下,这是 Loki CPU 的最大稳态来源。

    FATAL            10 → 4        窗口 5m
    Go panic         10 → 4        窗口 5m
    JVM OOM           5 → 2        窗口 5m
    StackOverflow     5 → 2        窗口 5m
    应用错误激增  100000 → 35000    窗口 5m(改名 error > 3.5万)
    ingress 5xx      2000 → 700    窗口 5m
    ingress 4xx     20000 → 7000   窗口 5m
    DB 连接失败      1000 → 350    窗口 5m

阈值按 1/3 缩放是必须的:窗口缩短 3 倍后,同样的流量在 5 分钟内只有
1/3 的条数,阈值不动就永远打不到了。
迁移 v10→v11 只改"窗口仍是 15 且名字匹配内置规则"的项,用户手调的不动。

=== 2. 数据源支持编辑/删除(含托管源)===
原来前后端都把托管源锁死:
  - 前端 `!managed &&` 直接不渲染编辑/删除按钮
  - 后端 DeleteSource 返回「平台部署的数据源随部署管理,请先删除对应部署」
用户的诉求是"数据源必须能编辑和删除",且确实有场景(不想让某个源出现在
查询下拉里、想改认证头)。

=== 3. 修「删了又回来」的真 bug ===
EnsureLogSourcesForRunningDeployments() 在 **每次打开数据源列表和启动时**
都会给 running 部署补齐数据源 —— 所以删掉托管源后,刷新页面它又回来了,
用户看到的现象就是"删不掉"。

新增 LokiDeployment.AutoSourceDisabled:
  - 删除托管源时置位(DisableAutoSourceFor)
  - EnsureLogSourceForDeployment 见到该开关直接 return
  - 部署被编辑/重新部署时重置(EnableAutoSourceFor),即"你要用它了就恢复"
前端配套文案:
  - 编辑托管源弹窗提示"重新部署会覆盖集群/Service/端口,认证与请求头保留"
  - 删除确认明确"删除后不会再自动重建,重新部署该 Loki 才恢复"

=== 实测(20300eef92d2)===
  v11 迁移后 8 条规则全部 窗口=5m,阈值 4/4/2/2/35000/700/7000/350
  go test ./... 全绿
This commit is contained in:
opsx committed 2026-10-30 15:28:30 +00:00
1 parent c9e604b35f
commit ad0d35f72a
9 files changed
+156 -41

No files matched your search

+52 -1
View File
@@ -114,6 +114,51 @@ func (d *JsonDB) raiseLegacyAlertThresholds() {
}
}
// compactAlertWindows 把告警窗口从 15 分钟压到 5 分钟,阈值按 1/3 同步下调。
//
// 为什么:检查间隔已经调到 5 分钟,而窗口还是 15 分钟 ——
// 相当于同一个 15 分钟窗口每 5 分钟被完整重扫一遍(3 倍重复扫描)。
// 在 370GB/天、全命名空间 selector 下,这是 Loki CPU 的最大稳态来源。
//
// 只改"仍是旧默认值"的规则(窗口 15 且阈值等于旧默认),用户自己调过的不动。
func (d *JsonDB) compactAlertWindows() {
type change struct {
window int
threshold int
newName string
}
// 旧默认阈值 → 新值(窗口统一 5 分钟,阈值约 1/3)
byOldThreshold := map[string]change{
"致命日志 FATAL": {window: 5, threshold: 4},
"Go panic": {window: 5, threshold: 4},
"JVM OutOfMemoryError": {window: 5, threshold: 2},
"StackOverflowError": {window: 5, threshold: 2},
"应用错误激增(error > 10万)": {window: 5, threshold: 35000, newName: "应用错误激增(error > 3.5万)"},
"ingress-nginx 5xx 错误": {window: 5, threshold: 700},
"ingress-nginx 4xx 激增": {window: 5, threshold: 7000},
"数据库连接失败": {window: 5, threshold: 350},
}
for i := range d.AlertRules {
rule := &d.AlertRules[i]
if rule.WindowMin != 15 {
continue // 用户改过窗口,不动
}
spec, ok := byOldThreshold[rule.Name]
if !ok {
continue
}
oldThreshold := rule.Threshold
oldWindow := rule.WindowMin
rule.WindowMin = spec.window
rule.Threshold = spec.threshold
if spec.newName != "" {
rule.Name = spec.newName
}
log.Printf("[schema] 告警规则 %q 窗口 %dm → %dm,阈值 %d → %d(消除重复扫描)",
rule.Name, oldWindow, rule.WindowMin, oldThreshold, rule.Threshold)
}
}
// expandDatabaseErrorPattern 把内置「数据库连接失败」规则升级为覆盖
// MySQL / PostgreSQL / Redis 的主流报错文案。
//
@@ -441,7 +486,7 @@ func (d *JsonDB) dedupeLogSourceIDs() {
//
// v0/v1(无字段)→ 1:新增 auditLogs / schemaVersion(老库走零值兜底即可,无需处理)
// v1 → 2:预留示例(如把 ScrapeJobs 从 logPath 拆分时,需按旧结构生成默认 job)
const CurrentSchemaVersion = 10
const CurrentSchemaVersion = 11
// migrateSchema 按版本号顺序迁移老库。返回是否发生了迁移(需要回写)。
func (d *JsonDB) migrateSchema() bool {
@@ -524,6 +569,12 @@ func (d *JsonDB) migrateSchema() bool {
// Redis 的 NOAUTH / WRONGPASS / connection pool timeout 等常见报错)
d.expandDatabaseErrorPattern()
d.SchemaVersion = 10
case 10:
// v10 → v11:告警窗口 15 分钟 → 5 分钟(与检查间隔对齐),
// 阈值同比例缩小,避免"窗口变短导致更容易触发"。
// 目标:消除同一个 15 分钟窗口被重复扫描 3 次的浪费(Loki CPU 降到 1/3 扫描量)。
d.compactAlertWindows()
d.SchemaVersion = 11
default:
// 防御:出现未知版本(比当前代码还新)时不乱动,避免降级把数据写坏
log.Printf("[schema] 数据库版本 %d 高于当前代码支持版本 %d,跳过迁移", d.SchemaVersion, CurrentSchemaVersion)