feat(alerts,logs): A 方案—告警窗口 15m→5m 消重复扫描;数据源可编辑/删除且删后不被自动重建
=== 1. 告警窗口 15m → 5m(阈值同比例 1/3)===
背景:检查间隔已改 5 分钟,但规则窗口仍是 15 分钟 ——
同一个 15 分钟窗口每 5 分钟被完整重扫一遍,等于 3 倍重复扫描。
在 370GB/天、全命名空间 selector 下,这是 Loki CPU 的最大稳态来源。
FATAL 10 → 4 窗口 5m
Go panic 10 → 4 窗口 5m
JVM OOM 5 → 2 窗口 5m
StackOverflow 5 → 2 窗口 5m
应用错误激增 100000 → 35000 窗口 5m(改名 error > 3.5万)
ingress 5xx 2000 → 700 窗口 5m
ingress 4xx 20000 → 7000 窗口 5m
DB 连接失败 1000 → 350 窗口 5m
阈值按 1/3 缩放是必须的:窗口缩短 3 倍后,同样的流量在 5 分钟内只有
1/3 的条数,阈值不动就永远打不到了。
迁移 v10→v11 只改"窗口仍是 15 且名字匹配内置规则"的项,用户手调的不动。
=== 2. 数据源支持编辑/删除(含托管源)===
原来前后端都把托管源锁死:
- 前端 `!managed &&` 直接不渲染编辑/删除按钮
- 后端 DeleteSource 返回「平台部署的数据源随部署管理,请先删除对应部署」
用户的诉求是"数据源必须能编辑和删除",且确实有场景(不想让某个源出现在
查询下拉里、想改认证头)。
=== 3. 修「删了又回来」的真 bug ===
EnsureLogSourcesForRunningDeployments() 在 **每次打开数据源列表和启动时**
都会给 running 部署补齐数据源 —— 所以删掉托管源后,刷新页面它又回来了,
用户看到的现象就是"删不掉"。
新增 LokiDeployment.AutoSourceDisabled:
- 删除托管源时置位(DisableAutoSourceFor)
- EnsureLogSourceForDeployment 见到该开关直接 return
- 部署被编辑/重新部署时重置(EnableAutoSourceFor),即"你要用它了就恢复"
前端配套文案:
- 编辑托管源弹窗提示"重新部署会覆盖集群/Service/端口,认证与请求头保留"
- 删除确认明确"删除后不会再自动重建,重新部署该 Loki 才恢复"
=== 实测(20300eef92d2)===
v11 迁移后 8 条规则全部 窗口=5m,阈值 4/4/2/2/35000/700/7000/350
go test ./... 全绿
This commit is contained in:
1 parent
c9e604b35f
commit
ad0d35f72a
9 files changed
+156
-41
No files matched your search
@@ -114,6 +114,51 @@ func (d *JsonDB) raiseLegacyAlertThresholds() {
|
||||
}
|
||||
}
|
||||
|
||||
// compactAlertWindows 把告警窗口从 15 分钟压到 5 分钟,阈值按 1/3 同步下调。
|
||||
//
|
||||
// 为什么:检查间隔已经调到 5 分钟,而窗口还是 15 分钟 ——
|
||||
// 相当于同一个 15 分钟窗口每 5 分钟被完整重扫一遍(3 倍重复扫描)。
|
||||
// 在 370GB/天、全命名空间 selector 下,这是 Loki CPU 的最大稳态来源。
|
||||
//
|
||||
// 只改"仍是旧默认值"的规则(窗口 15 且阈值等于旧默认),用户自己调过的不动。
|
||||
func (d *JsonDB) compactAlertWindows() {
|
||||
type change struct {
|
||||
window int
|
||||
threshold int
|
||||
newName string
|
||||
}
|
||||
// 旧默认阈值 → 新值(窗口统一 5 分钟,阈值约 1/3)
|
||||
byOldThreshold := map[string]change{
|
||||
"致命日志 FATAL": {window: 5, threshold: 4},
|
||||
"Go panic": {window: 5, threshold: 4},
|
||||
"JVM OutOfMemoryError": {window: 5, threshold: 2},
|
||||
"StackOverflowError": {window: 5, threshold: 2},
|
||||
"应用错误激增(error > 10万)": {window: 5, threshold: 35000, newName: "应用错误激增(error > 3.5万)"},
|
||||
"ingress-nginx 5xx 错误": {window: 5, threshold: 700},
|
||||
"ingress-nginx 4xx 激增": {window: 5, threshold: 7000},
|
||||
"数据库连接失败": {window: 5, threshold: 350},
|
||||
}
|
||||
for i := range d.AlertRules {
|
||||
rule := &d.AlertRules[i]
|
||||
if rule.WindowMin != 15 {
|
||||
continue // 用户改过窗口,不动
|
||||
}
|
||||
spec, ok := byOldThreshold[rule.Name]
|
||||
if !ok {
|
||||
continue
|
||||
}
|
||||
oldThreshold := rule.Threshold
|
||||
oldWindow := rule.WindowMin
|
||||
rule.WindowMin = spec.window
|
||||
rule.Threshold = spec.threshold
|
||||
if spec.newName != "" {
|
||||
rule.Name = spec.newName
|
||||
}
|
||||
log.Printf("[schema] 告警规则 %q 窗口 %dm → %dm,阈值 %d → %d(消除重复扫描)",
|
||||
rule.Name, oldWindow, rule.WindowMin, oldThreshold, rule.Threshold)
|
||||
}
|
||||
}
|
||||
|
||||
// expandDatabaseErrorPattern 把内置「数据库连接失败」规则升级为覆盖
|
||||
// MySQL / PostgreSQL / Redis 的主流报错文案。
|
||||
//
|
||||
@@ -441,7 +486,7 @@ func (d *JsonDB) dedupeLogSourceIDs() {
|
||||
//
|
||||
// v0/v1(无字段)→ 1:新增 auditLogs / schemaVersion(老库走零值兜底即可,无需处理)
|
||||
// v1 → 2:预留示例(如把 ScrapeJobs 从 logPath 拆分时,需按旧结构生成默认 job)
|
||||
const CurrentSchemaVersion = 10
|
||||
const CurrentSchemaVersion = 11
|
||||
|
||||
// migrateSchema 按版本号顺序迁移老库。返回是否发生了迁移(需要回写)。
|
||||
func (d *JsonDB) migrateSchema() bool {
|
||||
@@ -524,6 +569,12 @@ func (d *JsonDB) migrateSchema() bool {
|
||||
// Redis 的 NOAUTH / WRONGPASS / connection pool timeout 等常见报错)
|
||||
d.expandDatabaseErrorPattern()
|
||||
d.SchemaVersion = 10
|
||||
case 10:
|
||||
// v10 → v11:告警窗口 15 分钟 → 5 分钟(与检查间隔对齐),
|
||||
// 阈值同比例缩小,避免"窗口变短导致更容易触发"。
|
||||
// 目标:消除同一个 15 分钟窗口被重复扫描 3 次的浪费(Loki CPU 降到 1/3 扫描量)。
|
||||
d.compactAlertWindows()
|
||||
d.SchemaVersion = 11
|
||||
default:
|
||||
// 防御:出现未知版本(比当前代码还新)时不乱动,避免降级把数据写坏
|
||||
log.Printf("[schema] 数据库版本 %d 高于当前代码支持版本 %d,跳过迁移", d.SchemaVersion, CurrentSchemaVersion)
|
||||
|
||||
Reference in new issue
Block a user