Files
LokiStack/backend/services/host_push_endpoint_test.go
hermes-agent 7e3356e32b feat(collectors): 主机采集器容器优先托管 + 采集器日志查看 + 推送地址纠正
现象
1. 主机采集器只有 systemd 一条路,跨发行版差异大(这轮已踩过 param 被删、日志路径、
   时间戳格式三处);进程存活/开机自启也没有统一保证。
2. 「采集器日志」在主机模式下无法从平台查看,排「起没起来/在报什么错」必须 SSH。
3. 实测发现:Loki 部署把 listenIP 填成 0.0.0.0 时,部署记录 endpoint 是
   http://0.0.0.0:3100,采集器照抄去推 -> connect: connection refused,
   而容器/systemd 都是 running、平台 status=active —— 日志静默丢失。

根因
1. 托管方式写死在代码里(promtail 二进制 + systemd 单元),没有能力探测。
2. 没有对外暴露采集器自身日志的接口。
3. 渲染 promtail 配置时直接用 deployment.Endpoint,没有校验它是不是「可连接的推送地址」;
   另外容器用 bridge 网络,127.0.0.1 在容器里指向容器自身,同机 Loki 也会推失败。

修法
- services/collector_host_runtime.go(新增)
  * detectHostCapabilities:一次 SSH 往返探测 架构/init/systemd/docker可用/开机自启/SELinux/journald
  * chooseHostRunMode:docker 优先 -> systemd 兜底 -> 两者都没有则明确报错(不裸跑进程)
  * installHostDocker:grafana/promtail:3.4.0 容器,--restart=always --memory=256m --cpus=1
    --log-opt max-size=10m,max-file=3,挂 /etc/promtail(:ro) /var/lib/promtail /var/log(:ro)
    (+journald 相关),SELinux Enforcing 时 --security-opt label=disable;
    先 docker run --rm -check-syntax 校验配置,再替换正式配置
  * waitContainerRunning:看 Status + RestartCount,起来就崩立即报错并带回 docker logs
  * hostPushEndpoint:0.0.0.0/:: 换真实主机 IP;容器模式下 127.0.0.1/localhost 也换;
    换不了明确报错
  * CollectorLogs:主机 docker logs / journalctl,K8s DaemonSet Pod 日志、Sidecar fluent-bit 容器日志
- collector_deployer.go:installHost 探测->选模式->渲染配置->分发;systemd 路径从 docker 迁回时
  清理同名容器;卸载时容器与 systemd 两种方式都清(RunMode 对老记录是空的)
- 拉不到镜像(内网无外网)时降级 systemd 二进制托管,其它错误原样抛出
- models/collector.go:新增 runMode 并纳入 Sanitized;services.Update 白名单同步
- 接口 GET /api/v1/collectors/:id/logs?tail=N;前端卡片加「运行方式」+「日志」弹窗
- build.sh:detect_go 的 INFO 走 stderr(原来被打进 GO_CMD,构建必失败)

验证(172.19.16.8 / pre-cex-ops-jenkins,collector id=2)
- 安装后 runMode=docker,容器 Up,RestartPolicy=always,systemd promtail 自动停用
- 推送地址自动纠正为 http://172.19.16.8:3100,Loki 近 10 分钟查到 4919 条
  job=system/job=app、host=pre-cex-ops-jenkins
- docker 垫片模拟「docker 不可用」-> 自动回退 runMode=systemd、unit active+enabled、
  日志接口 source=systemd;移除垫片重装 -> 切回 docker
- 卸载:容器 0 个、unit 文件不存在、/etc/promtail 不存在、runMode 清空;重装恢复 running/0 重启
- K8s 采集器日志接口 source=kubernetes(顺带暴露 429 限流,见后续日志量治理)
- go vet 干净;go test ./... 全绿(新增 chooseHostRunMode / hostPushEndpoint 等 6 组用例);
  tsc -b 通过
- 镜像 lghost/lokistack:latest = :v0.1 = sha256:906a6d5369d7,Pod imageID 一致
2026-10-28 20:01:38 +00:00

113 lines
3.2 KiB
Go
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
package services
import (
"strings"
"testing"
)
// 推送地址纠正:这是「采集器 running 但一条日志都进不去」的根因防护。
func TestHostPushEndpoint(t *testing.T) {
const ip = "172.19.16.8"
cases := []struct {
name string
endpoint string
hostIP string
dockerMode bool
want string
wantErr string
}{
{
name: "正常 IP 不动",
endpoint: "http://172.19.16.8:3100",
hostIP: ip,
want: "http://172.19.16.8:3100",
},
{
name: "k8s svc 地址不动(命名空间短名照原样)",
endpoint: "http://loki.log.svc.cluster.local:3100",
hostIP: ip,
want: "http://loki.log.svc.cluster.local:3100",
},
{
// 本会话实测踩到:listenIP 填 0.0.0.0 → endpoint 变成 0.0.0.0:3100 → 推送被拒
name: "通配地址 0.0.0.0 换成真实主机 IP(两种模式都要换)",
endpoint: "http://0.0.0.0:3100",
hostIP: ip,
want: "http://172.19.16.8:3100",
},
{
name: "容器模式下 127.0.0.1 必须换成主机 IP(bridge 里指向容器自己)",
endpoint: "http://127.0.0.1:3100",
hostIP: ip,
dockerMode: true,
want: "http://172.19.16.8:3100",
},
{
name: "systemd 模式下 127.0.0.1 保持原样(同机部署是合法的)",
endpoint: "http://127.0.0.1:3100",
hostIP: ip,
want: "http://127.0.0.1:3100",
},
{
name: "容器模式下 localhost 同样换掉",
endpoint: "http://localhost:3100",
hostIP: ip,
dockerMode: true,
want: "http://172.19.16.8:3100",
},
{
name: "缺端口时补 3100",
endpoint: "http://0.0.0.0",
hostIP: ip,
want: "http://172.19.16.8:3100",
},
{
name: "空 endpoint 直接报错",
endpoint: " ",
hostIP: ip,
wantErr: "缺少 Loki 推送地址",
},
{
name: "拿不到主机 IP 时明确报错,而不是返回必然失败的地址",
endpoint: "http://0.0.0.0:3100",
hostIP: "",
wantErr: "取不到目标主机 IP",
},
}
for _, c := range cases {
got, err := hostPushEndpoint(c.endpoint, c.hostIP, c.dockerMode)
if c.wantErr != "" {
if err == nil || !strings.Contains(err.Error(), c.wantErr) {
t.Fatalf("%s: 期望报错含 %q,实际 got=%q err=%v", c.name, c.wantErr, got, err)
}
continue
}
if err != nil {
t.Fatalf("%s: 不应报错: %v", c.name, err)
}
if got != c.want {
t.Fatalf("%s: 期望 %q,实际 %q", c.name, c.want, got)
}
}
}
// 渲染出来的 promtail 配置里不能再出现 0.0.0.0 这类推不上去的地址。
func TestHostPromtailConfigUsesReachableEndpoint(t *testing.T) {
fixed, err := hostPushEndpoint("http://0.0.0.0:3100", "172.19.16.8", true)
if err != nil {
t.Fatalf("纠正失败: %v", err)
}
cfg, err := PromtailConfigForHost(HostPromtailOptions{
Endpoint: fixed, Cluster: "host", Hostname: "h1", LogPath: "/var/log/a.log",
})
if err != nil {
t.Fatalf("渲染失败: %v", err)
}
if strings.Contains(cfg, "0.0.0.0") {
t.Fatalf("配置里仍是通配地址:\n%s", cfg)
}
if !strings.Contains(cfg, "url: http://172.19.16.8:3100/loki/api/v1/push") {
t.Fatalf("推送地址不是纠正后的地址:\n%s", cfg)
}
}