fix(hosts,collectors,usage): 主机验证结果失真 + 主机模式系统日志解析 + metrics 单位

=== 一、主机「测试连接」永远显示旧错误（真实 bug）=== HostService.Validate 的失败分支也写 status=active，且从不写 statusMessage： if info, err := client.GetHostInfo(ctx); err == nil { 更新 os/arch } else { s.Update(id, {status:"active"}) } // ← 失败也标记成功结果：连不上也显示正常，页面永远停在几分钟前的旧错误文案，用户改了 IP 再点测试，还以为"改了还是不行"。改为区分成功/失败并写清原因：成功 → status=active + os/arch + statusMessage="连接成功" 失败 → status=error + statusMessage=FormatSSHError(err) === 二、回环地址在平台里必然连不上 === 平台跑在容器/Pod 内，127.0.0.1 指向平台自身。 - 新建主机时拦截：hostIP 为 127.0.0.1/localhost/::1 直接报错并解释原因 - 前端表单同步校验 + 文案 - SSH 错误映射补充：连接被拒绝时提示可能是地址填了回环 === 三、主机模式采集系统日志（两处会导致采集失败）=== 1. pipeline 一律套 cri 阶段：cri 只认容器运行时格式，套在 /var/log/messages 这类 syslog 上会取不到时间戳、整行被丢。 → appPipelineStages() 按路径判断：容器日志用 cri，普通文本日志只做限流。 2. promtailExternalLabels 写死 8 空格缩进：主机模板 external_labels 只有 4 空格，一旦给采集器配置了标签就生成非法 YAML，Promtail 装不上。 → 增加 indent 参数，主机 6 空格 / DaemonSet 8 空格。 3. 新增 system 采集任务： /var/log/{messages,secure,cron,maillog,syslog,dmesg} 正则解析 syslog 时间戳（Jan _2 15:04:05，Asia/Shanghai）+ 限流测试：TestHostPromtailConfigValid / CRIPathKeepsCRIStage / PlainFileHasNoCRIStage TestPromtailManifestParses 全部通过 === 四、资源用量 CPU 解析（nanocores）=== metrics-server 返回的 CPU 常是纳核（如 "194533645n"=194.5m）。原解析只处理 "m"，导致 194 亿核、页面出现"CPU 已达 limit 的 4863341125%"。 → parseQuantityMilli 支持 n/u/m/整核实测：CPU 当前=178m，峰值=3300m，建议"峰值占 limit 82%，可考虑提前扩容" === 五、其他 === - 添加集群默认改用 Token 认证（最小权限、可随时吊销） - RBAC 片段补 metrics.k8s.io（资源面板需要，独立 API 组常被漏授） - 文案去掉 Grafana 需求描述（平台自身不部署 Grafana）镜像：lghost/lokistack:latest + v0.1 = sha256:7bddd0f4d1f1
2026-10-28 17:58:30 +00:00
1 parent a32f93f533
commit bad2a1e624
@@ -11,8 +11,13 @@ import (
 // PromtailConfig 主机 Promtail 配置（推送至 lokiEndpoint，采集 logPath）
 // 生产级配置：持久化位置文件、批处理、重试、CRI日志格式解析
 // promtailExternalLabels 组并 cluster 标识与用户自定义标签(JSON)为 external_labels YAML 行
-func promtailExternalLabels(cluster string, labelsJSON string) string {
-	lines := []string{fmt.Sprintf("        cluster: %q", cluster)}
+// promtailExternalLabels 生成 external_labels 的子项。
+// indent 必须与该模板里 `external_labels:` 的层级匹配：
+//   - 主机模板（4 空格）→ 子项 6 空格
+//   - DaemonSet 模板（6 空格）→ 子项 8 空格
+// 早先写死 8 空格，主机模式一旦配了标签就会生成非法 YAML，Promtail 直接装不上。
+func promtailExternalLabels(cluster string, labelsJSON string, indent string) string {
+	lines := []string{fmt.Sprintf("%scluster: %q", indent, cluster)}
 	if labelsJSON != "" {
 		var m map[string]string
 		if err := json.Unmarshal([]byte(labelsJSON), &m); err == nil {
@@ -22,13 +27,48 @@ func promtailExternalLabels(cluster string, labelsJSON string) string {
 			}
 			sort.Strings(keys)
 			for _, k := range keys {
-				lines = append(lines, fmt.Sprintf("        %s: %q", k, m[k]))
+				lines = append(lines, fmt.Sprintf("%s%s: %q", indent, k, m[k]))
 			}
 		}
 	}
 	return strings.Join(lines, "\n")
 }

+// isCRILogPath 判断路径是否属于容器运行时日志（K8s pod 日志或 docker 容器日志）。
+// 只有这类日志才是 CRI 格式，才能用 cri 阶段解析。
+func isCRILogPath(logPath string) bool {
+	p := strings.ToLower(logPath)
+	return strings.Contains(p, "/pods/") ||
+		strings.Contains(p, "/containers/") ||
+		strings.Contains(p, "/docker/")
+}
+
+// appPipelineStages 按日志来源生成 pipeline：
+//   - 容器日志（CRI 格式）→ cri 解析 + 提取时间戳
+//   - 其它文本日志（应用文件、系统日志）→ 不套 cri，只做限流，避免解析失败丢行
+//
+// 原实现不区分来源、一律塞 cri 阶段，导致主机模式下采集 /var/log/messages
+// 或普通应用文件时时间戳解析失败、日志被丢弃。
+func appPipelineStages(logPath string) string {
+	if isCRILogPath(logPath) {
+		return `  - cri: {}
+  - match:
+      selector: '{job="app"}'
+      stages:
+      - timestamp:
+          source: time
+          format: RFC3339Nano
+  - limit:
+      rate: 1000
+      burst: 10000
+      drop: true`
+	}
+	return `  - limit:
+      rate: 2000
+      burst: 4000
+      drop: true`
+}
+
 func PromtailConfig(lokiEndpoint, logPath, cluster, labelsJSON string) string {
 	conf := fmt.Sprintf(`server:
  http_listen_port: 9080
@@ -60,27 +100,38 @@ limits_config:
  max_streams: 0

 scrape_configs:
-  - job_name: app
-    static_configs:
-      - targets: [localhost]
-        labels:
-          job: app
-          host: ${HOSTNAME}
-          __path__: %s
-    pipeline_stages:
-      - cri: {}
-      - match:
-          selector: '{job="app"}'
-          stages:
-            - timestamp:
-                source: time
-                format: RFC3339Nano
-      - limit:
-          rate: 1000
-          burst: 10000
-          drop: true
-`, lokiEndpoint, logPath)
-	return strings.Replace(conf, "__EXT_LABELS__", promtailExternalLabels(cluster, labelsJSON), 1)
+- job_name: app
+  static_configs:
+  - targets: [localhost]
+    labels:
+      job: app
+      host: ${HOSTNAME}
+      __path__: %s
+  pipeline_stages:
+%s
+# 系统日志（/var/log/messages、secure、cron 等）是 syslog 文本格式，
+# 绝不能用 cri 阶段解析 —— cri 只认 K8s/容器运行时那种 "时间 流 内容" 的行，
+# 套在 syslog 上会取不到时间戳、甚至整行被丢。这里单独一个 job 走正则解析。
+- job_name: system
+  static_configs:
+  - targets: [localhost]
+    labels:
+      job: system
+      host: ${HOSTNAME}
+      __path__: /var/log/{messages,secure,cron,maillog,syslog,dmesg}
+  pipeline_stages:
+  - regex:
+      expression: '^(?P<ts>[A-Z][a-z]{2}\s+\d{1,2}\s+\d{2}:\d{2}:\d{2})\s+(?P<hostname>\S+)\s+(?P<unit>[^:\[]+)(?:\[(?P<pid>\d+)\])?:\s*(?P<msg>.*)$'
+  - timestamp:
+      source: ts
+      format: Jan _2 15:04:05
+      location: Asia/Shanghai
+  - limit:
+      rate: 2000
+      burst: 4000
+      drop: true
+`, lokiEndpoint, logPath, appPipelineStages(logPath))
+	return strings.Replace(conf, "__EXT_LABELS__", promtailExternalLabels(cluster, labelsJSON, "      "), 1)
 }

 // PromtailDaemonsetYAML DaemonSet 模式纯 YAML 安装(SA/RBAC/ConfigMap/DaemonSet),
@@ -159,7 +210,7 @@ func promtailNamespaceFilter(namespaces []string) string {

 func PromtailDaemonsetYAML(ns, lokiURL, clusterName, labelsJSON string, targetNamespaces []string, appLabelSource string, appInclude []string) string {
 	promtailImage := ResolveImageFor("promtail", "grafana/promtail", "3.4.0")
-	extLabels := promtailExternalLabels(clusterName, labelsJSON)
+	extLabels := promtailExternalLabels(clusterName, labelsJSON, "        ")
 	nsFilter := promtailNamespaceFilter(targetNamespaces)
 	// 自定义 app 标签来源（用户可用自己注入的私有标签），插到回退链最前面
 	appSourceLine := ""