fix(logs,analysis,alerts): 数据源不可达、分析页超时、告警规则混入基础设施项
=== 1. 主机模式数据源地址 0.0.0.0 → 主机真实 IP(查询页"永远加载中"的根因)===
现象:切换数据源后命名空间/App 下拉不动,一直显示"加载中…",控制台报
Get "http://0.0.0.0:3100/loki/api/v1/labels": dial tcp 0.0.0.0:3100: connect: connection refused
根因:主机模式部署的 endpoint 记的是**容器监听地址** 0.0.0.0:3100,
而平台进程不在被采集主机上,0.0.0.0 只在本机有意义。
EnsureLogSourceForDeployment 把它原样写成了数据源 URL。
修法:
- 新增 reachableEndpoint():把 0.0.0.0 / [::] 换成关联主机的真实 IP
- schemaVersion v3→v4 迁移 fixUnreachableLogSourceURLs(),修正已有脏数据
- 实测:http://0.0.0.0:3100 → http://172.19.16.8:3100,该源 label 查询由 502 变 200
=== 2. 前端:区分"加载中"与"加载失败" ===
原来用 `loading={!options.length}` 表示加载中 —— 数据源不可达时列表永远为空,
于是界面永远转圈,把真实错误完全藏起来了(这次的 0.0.0.0 就是这样被掩盖的)。
改为独立的 namespaceLoading / namespaceError 两个状态:
- 切换数据源先清空旧 options(否则显示上一个源的命名空间,看着像"没反应")
- 失败显示"加载失败"并在旁边给「重试」按钮,不用刷新整页
=== 3. 日志分析页:主图改走索引接口(原来 5 条 count_over_time 全超时)===
实测 astralx(约 370GB/天)15 分钟窗口:
count_over_time → exec 29s + 排队 95s,超过 30s 护栏 → 502
index/volume_range → 0s
改为两阶段渲染:
- 总量趋势改用 /logs/histogram(内部 index/volume_range),**0s 出图**
- 错误/警告/app 维度仍需读日志内容,串行执行,先渲染主图再更新
- heavyQueryTimeout 30s → 90s(实测 error 维度查询 14s 可完成)
=== 4. 告警规则按日志平台定位收敛 ===
- seed 里删掉「Kubernetes 节点 NotReady」「容器 OOMKilled」:
这类属于 kube-state-metrics / Prometheus 的职责,用日志字符串匹配不可靠
- 迁移里清掉线上已存在的同类规则(3 条)
- 修 AlertRule / NotifyChannel 重复 ID(同 logSources 一样漏在 sequences 重建外)
=== 5. 告警页 UI ===
- 规则列表由"每条一张卡"改为紧凑表格(一屏看全,阈值可对齐比较)
- 通知通道(飞书/Lark/Webhook)从「系统设置」搬到告警页折叠区:
规则和"发到哪"是一件事的两半,分两页配容易漏配导致告警发不出去
=== 6. 权限收敛 ===
- /alerts 加 adminOnly:普通用户按查询授权只看「日志查询」,不再看到告警菜单
- 系统设置从侧栏移到右上角齿轮(低频平台配置,不占侧栏一位)
=== 7. 迁移设计教训(写进代码注释)===
v2 时把"告警去重 + 清基础设施规则"塞进 case 1,但线上库已到 v2,
那段代码永远不执行。**结构变更只要逻辑变了、目标库已达该版本,就必须再抬一版**,
不能改历史迁移分支。
=== 实测(v4-1028-2210 / 979bdb4a48e8)===
v4 迁移:数据源 URL 修正 http://0.0.0.0:3100 → http://172.19.16.8:3100
source 1 label:200,0s(astralx / log)
source 2 label:200,0s(不再 connection refused)
分析页 histogram astralx 15m:0s
分析页 metrics error astralx 15m:14s
告警规则:10 条(已无基础设施类)、ID 唯一
另清理 172.19.16.8 上 13 个残留容器,回收 6.1GB
This commit is contained in:
1 parent
1a4c75e28c
commit
95dcd9408c
20 files changed
+941
-87
No files matched your search
@@ -345,6 +345,45 @@ func DeleteLogSource(id uint) error {
|
||||
return fmt.Errorf("数据源不存在")
|
||||
}
|
||||
|
||||
// reachableEndpoint 把部署记录里的访问地址转换成「平台侧能真正连上」的地址。
|
||||
//
|
||||
// 主机模式创建部署时存的是容器的监听地址(0.0.0.0:3100 / [::]:3100),
|
||||
// 那是容器内部视角,平台进程在别的机器/集群里,用它必然 connection refused。
|
||||
// 换成该主机的真实 IP 再返回;主机信息缺失时原样返回(至少不会更差)。
|
||||
func reachableEndpoint(d *models.LokiDeployment) string {
|
||||
endpoint := strings.TrimSpace(d.Endpoint)
|
||||
if endpoint == "" {
|
||||
return endpoint
|
||||
}
|
||||
if !strings.Contains(endpoint, "0.0.0.0") && !strings.Contains(endpoint, "[::]") {
|
||||
return endpoint
|
||||
}
|
||||
hostIP := ""
|
||||
if d.Host != nil {
|
||||
hostIP = strings.TrimSpace(d.Host.HostIP)
|
||||
}
|
||||
if hostIP == "" {
|
||||
// 没带 Host 关联时回库查一次,避免调用方漏预加载
|
||||
db := repository.GetDB()
|
||||
if db != nil && d.HostID != nil {
|
||||
db.RLock()
|
||||
for i := range db.Hosts {
|
||||
if db.Hosts[i].ID == *d.HostID {
|
||||
hostIP = strings.TrimSpace(db.Hosts[i].HostIP)
|
||||
break
|
||||
}
|
||||
}
|
||||
db.RUnlock()
|
||||
}
|
||||
}
|
||||
if hostIP == "" {
|
||||
return endpoint
|
||||
}
|
||||
endpoint = strings.Replace(endpoint, "0.0.0.0", hostIP, 1)
|
||||
endpoint = strings.Replace(endpoint, "[::]", hostIP, 1)
|
||||
return endpoint
|
||||
}
|
||||
|
||||
// EnsureLogSourceForDeployment 部署成功后自动注册查询数据源(host→url;k8s→cluster-svc)。
|
||||
// 已存在同名数据源时:平台托管的自动刷新连接信息,用户手填的不覆盖。
|
||||
func EnsureLogSourceForDeployment(d *models.LokiDeployment) {
|
||||
@@ -360,7 +399,11 @@ func EnsureLogSourceForDeployment(d *models.LokiDeployment) {
|
||||
}
|
||||
if d.Mode == "host-binary" || d.Mode == "host-docker" {
|
||||
target.TargetType = "url"
|
||||
target.URL = d.Endpoint
|
||||
// 主机模式部署的 endpoint 记的是**容器监听地址**(0.0.0.0:3100),
|
||||
// 直接拿来当数据源 URL 会得到 dial tcp 0.0.0.0:3100: connection refused ——
|
||||
// 平台进程不在那台主机上,0.0.0.0 只在本机有意义。
|
||||
// 这里换成主机真实 IP,平台才能连上。
|
||||
target.URL = reachableEndpoint(d)
|
||||
target.ClusterID = nil
|
||||
}
|
||||
|
||||
|
||||
Reference in new issue
Block a user