需求:监控接口返回的数据本身是否变化(如 Cloudflare ips-v4 的 IP 段清单),
而不是只看服务是否可用。两者是不同的问题:服务 200 OK 但内容变了,拨测发现不了。
后端
- SiteTask 新增 content_check_mode(off/text/json)、content_paths(JSONPath)、
content_ignore_rules、content_min_length、content_confirm_times、content_sort_lines
- 新增 monitor_site_baselines(基线多版本)与 monitor_site_content_changes(变更记录)
- pkg/siteprobe/content.go:零依赖 JSONPath($.a.b[0]、$.a[*].b)、文本/JSON 规范化、
sha256 哈希、LCS 行级 diff、字段级 diff
- 核心判定区分「采集异常」与「内容变更」:状态码非 2xx、空响应、短于最小长度、
非合法 JSON 均不算变更,避免 CDN 拦截页造成误报
- 连续 N 次(默认 2)不一致才落变更记录,抑制抖动
- 基线首次自动建立(用户选择自动接受),之后变更需人工「接受为新基线」并留审计
- 补齐历史遗留死字段:expected_content(正则断言)与 expected_length 此前
只有表结构、执行器从未校验,现已实现
- 告警引擎新增 content_changed 指标,人工处理后自动恢复
- 迁移 0006 用 AutoMigrate 实现幂等(空库 0000 已建表,静态 ALTER 会重复列)
前端
- 任务表单新增内容监控配置区(模式/JSONPath/忽略规则/最小长度/确认次数/排序)
- 详情页新增内容监控面板:当前基线、待确认变更、并排 diff、版本历史、
接受/忽略操作
验证
- 9 项单元测试(JSONPath、时间戳忽略、顺序无关、采集异常、字段级监控、diff)
- 端到端:Cloudflare ips-v4 建基线 v1 → 模拟变更 → 第 2 轮告警 → 接受为 v2
- JSON 模式实测快照仅含指定字段:{"$.db_driver":"mysql","$.version":"v1.0.2"}
// Logan.Li
140 lines
3.6 KiB
Go
140 lines
3.6 KiB
Go
package siteprobe
|
|
|
|
import (
|
|
"context"
|
|
"log"
|
|
"sync"
|
|
"time"
|
|
|
|
"ezops/model"
|
|
|
|
"gorm.io/gorm"
|
|
)
|
|
|
|
// Worker 站点拨测后台采集器 // Logan.Li
|
|
type Worker struct {
|
|
db *gorm.DB
|
|
stopCh chan struct{}
|
|
wg sync.WaitGroup
|
|
}
|
|
|
|
// NewWorker 创建拨测 worker
|
|
func NewWorker(db *gorm.DB) *Worker {
|
|
return &Worker{db: db, stopCh: make(chan struct{})}
|
|
}
|
|
|
|
// Start 启动拨测循环
|
|
func (w *Worker) Start(intervalSec int) {
|
|
if intervalSec < 5 {
|
|
intervalSec = 10
|
|
}
|
|
w.wg.Add(1)
|
|
go func() {
|
|
defer w.wg.Done()
|
|
ticker := time.NewTicker(time.Duration(intervalSec) * time.Second)
|
|
defer ticker.Stop()
|
|
log.Printf("[SiteProbe] 拨测引擎启动,扫描间隔 %ds", intervalSec)
|
|
w.runOnce()
|
|
for {
|
|
select {
|
|
case <-ticker.C:
|
|
w.runOnce()
|
|
case <-w.stopCh:
|
|
log.Printf("[SiteProbe] 拨测引擎停止")
|
|
return
|
|
}
|
|
}
|
|
}()
|
|
}
|
|
|
|
// Stop 停止拨测
|
|
func (w *Worker) Stop() {
|
|
close(w.stopCh)
|
|
w.wg.Wait()
|
|
}
|
|
|
|
// RunTaskNow 立即执行单个任务拨测 // Logan.Li
|
|
func (w *Worker) RunTaskNow(taskID uint) error {
|
|
var task model.SiteTask
|
|
if err := w.db.First(&task, taskID).Error; err != nil {
|
|
return err
|
|
}
|
|
w.probeTask(task)
|
|
return nil
|
|
}
|
|
|
|
func (w *Worker) runOnce() {
|
|
var tasks []model.SiteTask
|
|
w.db.Where("status = ?", model.SiteTaskStatusRunning).Find(&tasks)
|
|
now := time.Now()
|
|
sem := make(chan struct{}, 8) // 最多 8 路并发拨测,避免串行阻塞 // Logan.Li
|
|
var wg sync.WaitGroup
|
|
for _, task := range tasks {
|
|
task.Frequency = NormalizeProbeFrequency(string(task.TaskType), task.Frequency)
|
|
if task.LastCheckAt != nil && now.Sub(*task.LastCheckAt) < time.Duration(task.Frequency)*time.Second {
|
|
continue
|
|
}
|
|
wg.Add(1)
|
|
go func(t model.SiteTask) {
|
|
defer wg.Done()
|
|
sem <- struct{}{}
|
|
defer func() { <-sem }()
|
|
w.probeTask(t)
|
|
}(task)
|
|
}
|
|
wg.Wait()
|
|
}
|
|
|
|
func (w *Worker) probeTask(task model.SiteTask) {
|
|
if task.TaskType == "" {
|
|
task.TaskType = model.SiteTaskType(inferTaskType(task))
|
|
}
|
|
outcome := Execute(context.Background(), task)
|
|
now := time.Now()
|
|
|
|
result := model.SiteResult{
|
|
TaskID: task.ID,
|
|
Status: outcome.Status,
|
|
HTTPStatusCode: outcome.HTTPStatus,
|
|
ResponseTime: outcome.ResponseTime,
|
|
TotalTime: outcome.TotalTime,
|
|
RemoteIP: outcome.RemoteIP,
|
|
ErrorMessage: outcome.ErrorMessage,
|
|
SSLCertExpiry: outcome.SSLCertExpiry,
|
|
SSLCertIssuer: outcome.SSLCertIssuer,
|
|
SSLCertSubject: outcome.SSLCertSubject,
|
|
SSLDaysRemaining: outcome.SSLDaysRemaining,
|
|
CheckedAt: now,
|
|
}
|
|
w.db.Create(&result)
|
|
|
|
lastResult := "fail"
|
|
if outcome.Status == model.SiteResultSuccess {
|
|
lastResult = "success"
|
|
}
|
|
avg := outcome.ResponseTime
|
|
if task.AvgResponse > 0 {
|
|
avg = (task.AvgResponse + outcome.ResponseTime) / 2
|
|
}
|
|
w.db.Model(&model.SiteTask{}).Where("id = ?", task.ID).Updates(map[string]interface{}{
|
|
"task_type": task.TaskType,
|
|
"last_result": lastResult,
|
|
"last_check_at": now,
|
|
"avg_response": avg,
|
|
})
|
|
// 拨测恢复后即时关闭探测类告警,与统计栏 down_count 同步 // Logan.Li
|
|
ResolveRecoveredProbeAlerts(w.db, task.ID, lastResult)
|
|
|
|
// 内容监控:只有在拨测成功时才参与内容比对,
|
|
// 避免网络抖动被误报成"接口返回内容变了"。 // Logan.Li
|
|
if ContentCheckEnabled(task.ContentCheckMode) {
|
|
changed, err := ApplyContentCheck(w.db, &task, outcome.Body, outcome.Status == model.SiteResultSuccess)
|
|
switch {
|
|
case err != nil:
|
|
// 采集异常(空响应/过短/非JSON)走这里,不算变更。
|
|
log.Printf("[siteprobe] 任务 %d 内容检查跳过: %v", task.ID, err)
|
|
case changed:
|
|
log.Printf("[siteprobe] 任务 %d 检测到内容变更,已生成待确认记录", task.ID)
|
|
}
|
|
}
|
|
} |