fix(alerts,analysis,dashboard): 阈值再上调 + 告警风暴全局闸门;修 subtitle/门控/饼图 Top5
=== 1. 告警阈值第二轮上调(500~5000 这一档仍然太敏感)===
实测业务高峰期这些量级就是常态,阈值贴着基线等于"每天准点报警":
应用错误激增 50000 → 100000(冷却 120m → 240m)
ingress 5xx 500 → 2000 (冷却 240m)
ingress 4xx 5000 → 20000 (冷却 240m)
数据库连接失败 200 → 1000 (冷却 240m)
迁移 v7→v8,只改"仍等于旧默认值"的规则,用户手动调过的不动。
=== 2. 告警风暴抑制:新增全局闸门 ===
单条规则的 cooldown 只能防"同一条重复",挡不住"多条规则同时炸"。
实际踩过:一次存储抖动让 8 条内置规则同时命中,10 秒内群里刷了 8 条,
之后大家开始无视这个群 —— 告警疲劳比漏报更难挽回。
新增 overStormLimit():最近 1 小时内全平台成功发送数 ≥ 12 条时,
后续命中不再发送,只写一条状态为 cooldown 的发送记录并注明
"告警风暴抑制:最近 1 小时已发送 N 条(上限 12)",可见可追溯。
=== 3. 分析页 subtitle 仍是裸 key ===
中文语言包缺顶层 subtitle(英文包有),i18next 找不到就把 key 原样输出。
补齐:「按应用与命名空间看日志量、错误与趋势,找出最吵的业务」。
=== 4. 分析页三条"没有应用维度的数据"的真正原因 ===
「活跃应用」「应用日志量 Top 5」「应用日志量流图」都依赖 by-app 重查询,
而这条查询被**底部排行卡片的可见性**门控(rankingEnabled: rankingView.inView)——
用户不滚到底就永远不发请求,于是顶部三块永远是空的。
改为进页面就发(两阶段渲染:索引类指标先出,app 维度到货后补)。
懒加载只保留在真正位于底部的「每日日志量」「Ingress 分析」。
=== 5. 饼图改 Top 5 + 文案 ===
用户要求:应用日志量 Top 5 用饼图。TOP_SLICES 8 → 5,
标题改「应用日志量 Top 5」,副标题写明"其余归入其他"。
=== 6. 卡片顺序 ===
「每日日志量」从中间移到「应用排行」之后(更靠底部,慢慢加载)。
=== 7. 仪表盘 ===
整个「平台自检」卡片(含所有指标行)按用户要求移除。
=== 实测(2e8c88817b6a)===
v8 迁移:4 条规则阈值上调,日志齐全
当前阈值:FATAL>10 / panic>10 / OOM>5 / StackOverflow>5 /
应用错误>100000 / ingress 5xx>2000 / 4xx>20000 / DB 连接>1000
冷却:低频规则 120m,高频规则 240m
This commit is contained in:
1 parent
fbefcc86df
commit
607b67a2ed
8 files changed
+95
-44
No files matched your search
@@ -16,6 +16,35 @@ import (
|
||||
"lokistack/repository"
|
||||
)
|
||||
|
||||
// 告警风暴抑制参数:最近 1 小时内全平台最多成功发送多少条。
|
||||
//
|
||||
// 为什么需要:单规则 cooldown 只能防"同一条重复",挡不住"多条规则同时炸"。
|
||||
// 实测过一次存储抖动让 8 条内置规则同时命中,10 秒内群里刷了 8 条,
|
||||
// 之后大家开始无视这个群 —— 告警疲劳比漏报更难挽回。
|
||||
const (
|
||||
alertStormWindow = time.Hour
|
||||
alertStormMaxPerHour = 12
|
||||
)
|
||||
|
||||
// overStormLimit 判断是否已经触发全局抑制。
|
||||
// 返回 (是否抑制, 最近窗口内已发送条数)。
|
||||
func overStormLimit() (bool, int) {
|
||||
db := repository.GetDB()
|
||||
if db == nil {
|
||||
return false, 0
|
||||
}
|
||||
cutoff := time.Now().Add(-alertStormWindow)
|
||||
db.RLock()
|
||||
defer db.RUnlock()
|
||||
sent := 0
|
||||
for _, delivery := range db.AlertDeliveries {
|
||||
if delivery.Status == "sent" && delivery.CreatedAt.After(cutoff) {
|
||||
sent++
|
||||
}
|
||||
}
|
||||
return sent >= alertStormMaxPerHour, sent
|
||||
}
|
||||
|
||||
const alertCheckInterval = time.Minute
|
||||
|
||||
var alertTicker *time.Ticker
|
||||
@@ -230,6 +259,19 @@ func checkRule(ctx context.Context, rule *models.AlertRule) {
|
||||
lines = append(lines, "**日志样例**:\n"+strings.Join(samples, "\n"))
|
||||
}
|
||||
|
||||
// ── 告警风暴抑制:全平台每小时最多发 N 条 ──────────────────────
|
||||
//
|
||||
// 单条规则有 cooldown 只能说"同一条别重复",挡不住"20 条规则同时炸"。
|
||||
// 实测过:一次存储抖动让 8 条内置规则同时命中,10 秒内往群里刷了 8 条,
|
||||
// 之后大家开始无视这个群。所以再加一道**全局闸门**:
|
||||
// 最近 1 小时内成功发送数达到上限后,后续命中只记"被抑制",不再发送。
|
||||
// 被抑制的记录仍写进发送历史(可见、可追溯),并写明原因。
|
||||
if suppressed, sentCount := overStormLimit(); suppressed {
|
||||
recordDelivery(rule.ID, rule.Name, count, "cooldown",
|
||||
fmt.Sprintf("告警风暴抑制:最近 1 小时已发送 %d 条(上限 %d),本条未发送", sentCount, alertStormMaxPerHour))
|
||||
return
|
||||
}
|
||||
|
||||
// 扇出到全部关联通道;部分失败记录失败原因(成功任一即更新冷却)
|
||||
title := "🔴 日志告警 " + rule.Name
|
||||
var failMsgs []string
|
||||
|
||||
Reference in new issue
Block a user