perf(analysis): 分析页按索引/内容分层,告警默认阈值抬高
=== 1. 分析页"一直转圈/请求超时(40000ms)"的真实原因 ===
三个问题叠加,逐个量化:
a) 首屏用空 namespace 发查询
页面初始 namespace='',等策略返回前就发出 `{namespace=~".+"}` 全集群查询,
策略到位后又查一次 → 一次访问跑两遍。
→ 加 namespaceReady 门控:解析完再发(effectiveSourceId)。
b) histogram 索引查询和内容查询抢同一个信号量
/logs/histogram 首选 index/volume_range(毫秒级),但仍要先抢重型令牌,
而令牌被 4 条 count_over_time(各 14~29s)占满 → 排队/429/超时。
→ 索引路径**不再占用重型令牌**(15s 独立超时),只有回退到
count_over_time 时才抢令牌。实测各跨度(15m/1h/6h/24h)均 0s。
c) 重查询条数过多
原来 4 条全局 count_over_time(total/error/warn)+ 2 条 by-app,
串行 1~2 分钟。现在只留 2 条 by-app:
- 全局总量已由 histogram(索引)提供
- 全局 error 由 errByApp 序列求和得出
- 全局 warn 放弃(优先级最低却要 20s)
实测 by-app 单条 26s,两条串行 ~52s;主图 0s 先出。
d) 日报 7 天 count_over_time(2.6TB 扫描)必然失败
→ 改走 /logs/histogram(索引)按自然日聚合,只出"每日总量",
应用维度交给下方 Top 应用表格(有自己的时间范围)。
实测 7 天跨度毫秒级。
=== 2. 告警默认阈值抬高(告警疲劳治理)===
验证时用 `{namespace="astralx"}` + 阈值 0 触发了一次:
15 分钟命中 3051 万条 —— 阈值 0 等于把告警变成日志流复读机。
新基线(15 分钟窗口,冷却统一 120 分钟):
致命日志 FATAL 0 → 10
Go panic 0 → 10
JVM OutOfMemoryError 0 → 5
StackOverflowError 0 → 5
应用错误激增 1000 → 50000(改名,原"error > 1000"名不副实)
ingress-nginx 5xx 100 → 500
ingress-nginx 4xx 1000 → 5000
数据库连接失败 50 → 200
迁移只改"仍等于旧默认值"的规则,用户手动调过的阈值不动。
设计原则写进 seed 注释:绝不用 threshold 0;宁可少报也不要让人对告警脱敏;
绝对阈值不跨环境通用,大集群必须按 app/namespace 收窄。
=== 实测(v6-1028-2218 / 0bf66199de66)===
规则 8 条,阈值=0 的规则数 0,冷却全部 120m
histogram astralx(15m/1h/6h/24h): 0s
by-app metrics astralx 15m: 26s,正常返回数据
This commit is contained in:
1 parent
95dcd9408c
commit
fa7ddd67c1
6 files changed
+161
-77
No files matched your search
@@ -5,8 +5,8 @@ import (
|
||||
"fmt"
|
||||
"log"
|
||||
"os"
|
||||
"strings"
|
||||
"path/filepath"
|
||||
"strings"
|
||||
"sync"
|
||||
"time"
|
||||
|
||||
@@ -46,7 +46,7 @@ type JsonDB struct {
|
||||
// (例如新增 ScrapeJobs 时老数据要手写兼容)。有了版本号,
|
||||
// 以后的结构变更可以在 InitDB 里按版本号顺序迁移,可测、可回滚。
|
||||
SchemaVersion int `json:"schemaVersion"`
|
||||
sequences map[string]uint
|
||||
sequences map[string]uint
|
||||
|
||||
// 防抖保存机制
|
||||
saveTimer *time.Timer
|
||||
@@ -62,6 +62,55 @@ func GetDB() *JsonDB {
|
||||
return db
|
||||
}
|
||||
|
||||
// alertThresholdUpgrade 记录"旧种子阈值 → 新基线"的映射。
|
||||
//
|
||||
// 只在规则阈值**仍等于旧默认值**时才升级,避免覆盖用户自己调过的值。
|
||||
type alertThresholdUpgrade struct {
|
||||
oldName string
|
||||
newName string
|
||||
oldThreshold int
|
||||
newThreshold int
|
||||
newCooldown int
|
||||
}
|
||||
|
||||
var alertThresholdUpgrades = []alertThresholdUpgrade{
|
||||
{oldName: "致命日志 FATAL", newName: "致命日志 FATAL", oldThreshold: 0, newThreshold: 10, newCooldown: 120},
|
||||
{oldName: "Go panic", newName: "Go panic", oldThreshold: 0, newThreshold: 10, newCooldown: 120},
|
||||
{oldName: "JVM OutOfMemoryError", newName: "JVM OutOfMemoryError", oldThreshold: 0, newThreshold: 5, newCooldown: 120},
|
||||
{oldName: "StackOverflowError", newName: "StackOverflowError", oldThreshold: 0, newThreshold: 5, newCooldown: 120},
|
||||
{oldName: "应用错误过多(error > 1000)", newName: "应用错误激增(error > 5万)", oldThreshold: 1000, newThreshold: 50000, newCooldown: 120},
|
||||
{oldName: "ingress-nginx 5xx 错误", newName: "ingress-nginx 5xx 错误", oldThreshold: 100, newThreshold: 500, newCooldown: 120},
|
||||
{oldName: "ingress-nginx 4xx 激增", newName: "ingress-nginx 4xx 激增", oldThreshold: 1000, newThreshold: 5000, newCooldown: 120},
|
||||
{oldName: "数据库连接失败", newName: "数据库连接失败", oldThreshold: 50, newThreshold: 200, newCooldown: 120},
|
||||
}
|
||||
|
||||
// raiseLegacyAlertThresholds 抬高仍是旧默认值的告警阈值与冷却时间。
|
||||
func (d *JsonDB) raiseLegacyAlertThresholds() {
|
||||
byName := map[string]alertThresholdUpgrade{}
|
||||
for _, u := range alertThresholdUpgrades {
|
||||
byName[u.oldName] = u
|
||||
}
|
||||
for i := range d.AlertRules {
|
||||
rule := &d.AlertRules[i]
|
||||
u, ok := byName[rule.Name]
|
||||
if !ok {
|
||||
continue
|
||||
}
|
||||
if rule.Threshold != u.oldThreshold {
|
||||
// 用户已经手动调过,尊重用户设置
|
||||
continue
|
||||
}
|
||||
old := rule.Threshold
|
||||
rule.Threshold = u.newThreshold
|
||||
rule.Name = u.newName
|
||||
if rule.CooldownMin < u.newCooldown {
|
||||
rule.CooldownMin = u.newCooldown
|
||||
}
|
||||
log.Printf("[schema] 告警规则 %q 阈值 %d → %d(冷却 %dm),降低告警频率",
|
||||
u.newName, old, u.newThreshold, rule.CooldownMin)
|
||||
}
|
||||
}
|
||||
|
||||
// fixUnreachableLogSourceURLs 把数据源里 0.0.0.0 / [::] 的监听地址换成主机真实 IP。
|
||||
//
|
||||
// 平台进程不在被采集主机上,0.0.0.0 只在本机有意义,用它必然连不上。
|
||||
@@ -109,9 +158,10 @@ func (d *JsonDB) fixUnreachableLogSourceURLs() {
|
||||
//
|
||||
// 背景:这些集合曾经都漏在 InitDB 的 sequences 重建之外,导致 NextID 每次
|
||||
// 进程重启都从 1 开始,于是不同时期创建的对象会撞号。撞号后的表现各不相同:
|
||||
// LogSource : 查询页数据源下拉选不动(两个 option 同 value)
|
||||
// AlertRule : 规则列表出现两条同 id,编辑/删除操作命中错的那条
|
||||
// NotifyChannel: 通知渠道覆盖错对象
|
||||
//
|
||||
// LogSource : 查询页数据源下拉选不动(两个 option 同 value)
|
||||
// AlertRule : 规则列表出现两条同 id,编辑/删除操作命中错的那条
|
||||
// NotifyChannel: 通知渠道覆盖错对象
|
||||
func (d *JsonDB) dedupeCollectionIDs() {
|
||||
d.dedupeLogSourceIDs()
|
||||
d.dedupeAlertRuleIDs()
|
||||
@@ -294,7 +344,7 @@ func (d *JsonDB) dedupeLogSourceIDs() {
|
||||
//
|
||||
// v0/v1(无字段)→ 1:新增 auditLogs / schemaVersion(老库走零值兜底即可,无需处理)
|
||||
// v1 → 2:预留示例(如把 ScrapeJobs 从 logPath 拆分时,需按旧结构生成默认 job)
|
||||
const CurrentSchemaVersion = 4
|
||||
const CurrentSchemaVersion = 5
|
||||
|
||||
// migrateSchema 按版本号顺序迁移老库。返回是否发生了迁移(需要回写)。
|
||||
func (d *JsonDB) migrateSchema() bool {
|
||||
@@ -339,6 +389,14 @@ func (d *JsonDB) migrateSchema() bool {
|
||||
// 前端表现为「命名空间/App 下拉永远加载中」。
|
||||
d.fixUnreachableLogSourceURLs()
|
||||
d.SchemaVersion = 4
|
||||
case 4:
|
||||
// v4 → v5:抬高内置告警规则的默认阈值。
|
||||
//
|
||||
// 旧种子里有 4 条 threshold=0(命中一条就报),另外几条绝对值也偏低:
|
||||
// 实测某环境 15 分钟 3051 万条日志 → 告警永远在响,运维直接脱敏。
|
||||
// 只改"仍等于旧默认值"的规则,用户手动调过的阈值不动。
|
||||
d.raiseLegacyAlertThresholds()
|
||||
d.SchemaVersion = 5
|
||||
default:
|
||||
// 防御:出现未知版本(比当前代码还新)时不乱动,避免降级把数据写坏
|
||||
log.Printf("[schema] 数据库版本 %d 高于当前代码支持版本 %d,跳过迁移", d.SchemaVersion, CurrentSchemaVersion)
|
||||
|
||||
Reference in new issue
Block a user