feat(site): 站点拨测支持接口返回内容监控(文本 + JSON 字段)
AIOps CI / Backend (test, vet, build) (push) Canceled after 0s
AIOps CI / Agent (test, vet, build) (push) Canceled after 0s
AIOps CI / Frontend (typecheck, lint, build) (push) Canceled after 0s
AIOps CI / API integration (SQLite + redka) (push) Canceled after 0s

需求:监控接口返回的数据本身是否变化(如 Cloudflare ips-v4 的 IP 段清单),
而不是只看服务是否可用。两者是不同的问题:服务 200 OK 但内容变了,拨测发现不了。

后端
- SiteTask 新增 content_check_mode(off/text/json)、content_paths(JSONPath)、
  content_ignore_rules、content_min_length、content_confirm_times、content_sort_lines
- 新增 monitor_site_baselines(基线多版本)与 monitor_site_content_changes(变更记录)
- pkg/siteprobe/content.go:零依赖 JSONPath($.a.b[0]、$.a[*].b)、文本/JSON 规范化、
  sha256 哈希、LCS 行级 diff、字段级 diff
- 核心判定区分「采集异常」与「内容变更」:状态码非 2xx、空响应、短于最小长度、
  非合法 JSON 均不算变更,避免 CDN 拦截页造成误报
- 连续 N 次(默认 2)不一致才落变更记录,抑制抖动
- 基线首次自动建立(用户选择自动接受),之后变更需人工「接受为新基线」并留审计
- 补齐历史遗留死字段:expected_content(正则断言)与 expected_length 此前
  只有表结构、执行器从未校验,现已实现
- 告警引擎新增 content_changed 指标,人工处理后自动恢复
- 迁移 0006 用 AutoMigrate 实现幂等(空库 0000 已建表,静态 ALTER 会重复列)

前端
- 任务表单新增内容监控配置区(模式/JSONPath/忽略规则/最小长度/确认次数/排序)
- 详情页新增内容监控面板:当前基线、待确认变更、并排 diff、版本历史、
  接受/忽略操作

验证
- 9 项单元测试(JSONPath、时间戳忽略、顺序无关、采集异常、字段级监控、diff)
- 端到端:Cloudflare ips-v4 建基线 v1 → 模拟变更 → 第 2 轮告警 → 接受为 v2
- JSON 模式实测快照仅含指定字段:{"$.db_driver":"mysql","$.version":"v1.0.2"}

// Logan.Li
This commit is contained in:
Logan.Li committed 2026-10-18 21:41:00 +00:00
1 parent 286d7cd906
commit 539db36f2a
18 files changed
+1704 -3

No files matched your search

+59
View File
@@ -128,6 +128,58 @@ func (h *SiteHandler) UpdateTask(c *gin.Context) {
if v, ok := raw["expected_status_code"].(float64); ok {
updates["expected_status"] = int(v)
}
// 内容监控配置。归一化规则一旦改动,旧基线就失去意义,
// 必须重置基线让下一轮自动重建,否则会立刻产生一条"变更"。 // Logan.Li
contentConfigChanged := false
if v, ok := raw["content_check_mode"].(string); ok {
mode := normalizeContentMode(v)
if mode != task.ContentCheckMode {
contentConfigChanged = true
if mode == "off" {
// 关闭内容监控时同时清空基线状态,避免残留待确认变更。
updates["current_baseline_id"] = 0
updates["pending_change_count"] = 0
}
}
updates["content_check_mode"] = mode
}
if v, ok := raw["content_paths"].(string); ok {
if v != task.ContentPaths {
contentConfigChanged = true
}
updates["content_paths"] = v
}
if v, ok := raw["content_ignore_rules"].(string); ok {
if v != task.ContentIgnoreRules {
contentConfigChanged = true
}
updates["content_ignore_rules"] = v
}
if v, ok := raw["content_min_length"].(float64); ok {
if int(v) != task.ContentMinLength {
contentConfigChanged = true
}
updates["content_min_length"] = int(v)
}
if v, ok := raw["content_confirm_times"].(float64); ok {
n := int(v)
if n <= 0 {
n = 2
}
updates["content_confirm_times"] = n
}
if v, ok := raw["content_sort_lines"].(bool); ok {
if v != task.ContentSortLines {
contentConfigChanged = true
}
updates["content_sort_lines"] = v
}
if contentConfigChanged {
updates["current_baseline_id"] = 0
updates["pending_change_count"] = 0
}
if v, ok := raw["enabled"].(bool); ok {
if v {
updates["status"] = model.SiteTaskStatusRunning
@@ -151,6 +203,13 @@ func (h *SiteHandler) deleteSiteTaskCascade(taskID uint) error {
if err := tx.Where("task_id = ?", taskID).Delete(&model.SiteAlert{}).Error; err != nil {
return err
}
// 内容监控的子表一并清理,避免任务删除后残留孤立基线/变更。 // Logan.Li
if err := tx.Where("task_id = ?", taskID).Delete(&model.SiteContentChange{}).Error; err != nil {
return err
}
if err := tx.Where("task_id = ?", taskID).Delete(&model.SiteBaseline{}).Error; err != nil {
return err
}
tx.Where("category = ? AND target_id = ?", model.MonitorAlertSite, taskID).Delete(&model.MonitorAlertRule{})
return tx.Delete(&model.SiteTask{}, taskID).Error
})