rlwj-lab/aiops
0
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
522 Commits 1 Branch 0 Tags
539db36f2a7d2ad15ec9fa80149360de16b88b3a
Commit Graph
5 Commits
Author SHA1 Message Date
Logan.Li 539db36f2a feat(site): 站点拨测支持接口返回内容监控（文本 + JSON 字段）
AIOps CI / Backend (test, vet, build) (push) Canceled after 0s
Details
AIOps CI / Agent (test, vet, build) (push) Canceled after 0s
Details
AIOps CI / Frontend (typecheck, lint, build) (push) Canceled after 0s
Details
AIOps CI / API integration (SQLite + redka) (push) Canceled after 0s
Details 
需求：监控接口返回的数据本身是否变化（如 Cloudflare ips-v4 的 IP 段清单），
而不是只看服务是否可用。两者是不同的问题：服务 200 OK 但内容变了，拨测发现不了。

后端
- SiteTask 新增 content_check_mode(off/text/json)、content_paths(JSONPath)、
  content_ignore_rules、content_min_length、content_confirm_times、content_sort_lines
- 新增 monitor_site_baselines（基线多版本）与 monitor_site_content_changes（变更记录）
- pkg/siteprobe/content.go：零依赖 JSONPath（$.a.b[0]、$.a[*].b）、文本/JSON 规范化、
  sha256 哈希、LCS 行级 diff、字段级 diff
- 核心判定区分「采集异常」与「内容变更」：状态码非 2xx、空响应、短于最小长度、
  非合法 JSON 均不算变更，避免 CDN 拦截页造成误报
- 连续 N 次（默认 2）不一致才落变更记录，抑制抖动
- 基线首次自动建立（用户选择自动接受），之后变更需人工「接受为新基线」并留审计
- 补齐历史遗留死字段：expected_content（正则断言）与 expected_length 此前
  只有表结构、执行器从未校验，现已实现
- 告警引擎新增 content_changed 指标，人工处理后自动恢复
- 迁移 0006 用 AutoMigrate 实现幂等（空库 0000 已建表，静态 ALTER 会重复列）

前端
- 任务表单新增内容监控配置区（模式/JSONPath/忽略规则/最小长度/确认次数/排序）
- 详情页新增内容监控面板：当前基线、待确认变更、并排 diff、版本历史、
  接受/忽略操作

验证
- 9 项单元测试（JSONPath、时间戳忽略、顺序无关、采集异常、字段级监控、diff）
- 端到端：Cloudflare ips-v4 建基线 v1 → 模拟变更 → 第 2 轮告警 → 接受为 v2
- JSON 模式实测快照仅含指定字段：{"$.db_driver":"mysql","$.version":"v1.0.2"}

// Logan.Li
 2026-10-18 21:41:00 +00:00
Logan.Li 8c49dd22b0 test(migrations): 断言改为校验真实意图，避免新增迁移即误报
AIOps CI / Backend (test, vet, build) (push) Canceled after 0s
Details
AIOps CI / Agent (test, vet, build) (push) Canceled after 0s
Details
AIOps CI / Frontend (typecheck, lint, build) (push) Canceled after 0s
Details
AIOps CI / API integration (SQLite + redka) (push) Canceled after 0s
Details 
原断言写死"旧库只应补跑 0002/0003 两条迁移"，
新增 0004_metric_aggregate_unique 与 0005_agent_settings 后必然失败。

改为校验：不得重跑基线、不得重跑 0001，
且 0002/0003 必须被执行——这才是该用例真正要守护的行为。

// Logan.Li
 2026-10-18 20:10:23 +00:00
Logan.Li f3a4fb569f fix(deploy): 全新部署链路健壮性（0004 幂等 + 迁移前置 + 空库守卫）
AIOps CI / Backend (test, vet, build) (push) Canceled after 0s
Details
AIOps CI / Agent (test, vet, build) (push) Canceled after 0s
Details
AIOps CI / Frontend (typecheck, lint, build) (push) Canceled after 0s
Details
AIOps CI / API integration (SQLite + redka) (push) Canceled after 0s
Details 
- 0004_metric_aggregate_unique 改为幂等：新库基线已由模型 uniqueIndex 建出
  uniq_metric_agg，再次 CREATE 会以 1061 重复键名中断 migrate up，
  导致 0005_agent_settings 建不出来（全新部署实测复现）
- 新增 database.IndexExists：跨 SQLite/MySQL/PostgreSQL 判断索引是否存在
- 新增 database.EnsureSchemaInitialized：服务启动遇到空库时明确失败并给出
  执行 aiops migrate up 的指引，避免「服务起来了但页面全是空数据」
- run.sh docker up/upgrade/update 先跑一次 aiops migrate up 再启动服务

// Logan.Li
 2026-09-14 09:02:42 +00:00
Logan.Li 59320aa410 perf: 修复 Agent 校验 CPU 热点并实现指标分层聚合与频率下发 
CPU 根因：每个 Agent 请求都做一次 bcrypt 校验（实测 72ms），
30 台主机 18 req/s × 72ms ≈ 1.35 核，实测容器 CPU 135%。

- agentauth: 校验结果按 Token 哈希缓存（TTL 5min，轮换即失效），
  last_used_at 写入按 60s 节流。实测 CPU 135% → 1.6%，请求延迟 103ms → 1.6ms
- metricagg: 新增后台逐级降采样聚合 raw→1m/5m→1h→6h/1d，取代前端手动触发
- metrics_aggregate: 补 uniq_metric_agg 唯一索引（原 idx_agg 非唯一导致 upsert 插重复行）
- agent 合并配置接口 GET /agent/config：一次返回任务+探针+端口策略+频率，
  配置轮询 5s→30s；服务端可下发 report_interval，Agent 热更新 ticker 无需重装
- retention: agent_reports 保留期 7d→1d（趋势由聚合表承担）
- redis: 增加 maxmemory 512mb + volatile-lru
- fix(upgrade): 升级脚本改为 fail-fast，修复下载失败仍报 UPGRADE_OK 的静默谎报

// Logan.Li
 2026-09-14 08:23:31 +00:00
Logan.Li fd60361d93 chore: 统一本地服务器与远程仓库源码 
- 合并 main 与 master 历史并以服务器结构为基线
- 保留迁移、数据保留、AWS 账单与部署安全能力
- 建立 SDD 规格和 CI 验证闭环
 2026-08-05 20:03:25 +08:00