perf: 修复 Agent 校验 CPU 热点并实现指标分层聚合与频率下发
CPU 根因:每个 Agent 请求都做一次 bcrypt 校验(实测 72ms), 30 台主机 18 req/s × 72ms ≈ 1.35 核,实测容器 CPU 135%。 - agentauth: 校验结果按 Token 哈希缓存(TTL 5min,轮换即失效), last_used_at 写入按 60s 节流。实测 CPU 135% → 1.6%,请求延迟 103ms → 1.6ms - metricagg: 新增后台逐级降采样聚合 raw→1m/5m→1h→6h/1d,取代前端手动触发 - metrics_aggregate: 补 uniq_metric_agg 唯一索引(原 idx_agg 非唯一导致 upsert 插重复行) - agent 合并配置接口 GET /agent/config:一次返回任务+探针+端口策略+频率, 配置轮询 5s→30s;服务端可下发 report_interval,Agent 热更新 ticker 无需重装 - retention: agent_reports 保留期 7d→1d(趋势由聚合表承担) - redis: 增加 maxmemory 512mb + volatile-lru - fix(upgrade): 升级脚本改为 fail-fast,修复下载失败仍报 UPGRADE_OK 的静默谎报 // Logan.Li
This commit is contained in:
1 parent
93abf81e40
commit
59320aa410
23 files changed
+902
-29
No files matched your search
+6
-1
@@ -23,6 +23,7 @@ import (
|
||||
"ezops/pkg/cronscheduler"
|
||||
"ezops/pkg/database"
|
||||
"ezops/pkg/logger"
|
||||
"ezops/pkg/metricagg"
|
||||
ezredis "ezops/pkg/redis"
|
||||
"ezops/pkg/retention"
|
||||
"ezops/pkg/systask"
|
||||
@@ -224,6 +225,10 @@ func main() {
|
||||
})
|
||||
defer cronSched.Stop()
|
||||
|
||||
// 指标分层滚动聚合:raw → 1m/5m → 1h → 6h/1d,全部后台定时执行,
|
||||
// 取代原先依赖前端手动触发 POST /agent/aggregate 的方式。 // Logan.Li
|
||||
metricagg.Start(context.Background(), db, cache, log)
|
||||
|
||||
// 每日分批清理 Agent、指标、SNMP、拨测与旧日志,执行结果写入系统任务状态。 // Logan.Li
|
||||
go func() {
|
||||
ticker := time.NewTicker(24 * time.Hour)
|
||||
@@ -470,7 +475,7 @@ func loadConfig() *config.Config {
|
||||
viper.SetDefault("jwt.secret", "") // 生产环境必须通过配置或 JWT_SECRET 环境变量设置
|
||||
viper.SetDefault("jwt.expire_hour", 24)
|
||||
viper.SetDefault("agent.enforce_auth", false)
|
||||
viper.SetDefault("retention.agent_reports_days", 7)
|
||||
viper.SetDefault("retention.agent_reports_days", 1)
|
||||
viper.SetDefault("retention.metric_history_days", 30)
|
||||
viper.SetDefault("retention.metric_aggregate_days", 365)
|
||||
viper.SetDefault("retention.snmp_samples_days", 30)
|
||||
|
||||
Reference in new issue
Block a user