现象 1. 主机采集器只有 systemd 一条路,跨发行版差异大(这轮已踩过 param 被删、日志路径、 时间戳格式三处);进程存活/开机自启也没有统一保证。 2. 「采集器日志」在主机模式下无法从平台查看,排「起没起来/在报什么错」必须 SSH。 3. 实测发现:Loki 部署把 listenIP 填成 0.0.0.0 时,部署记录 endpoint 是 http://0.0.0.0:3100,采集器照抄去推 -> connect: connection refused, 而容器/systemd 都是 running、平台 status=active —— 日志静默丢失。 根因 1. 托管方式写死在代码里(promtail 二进制 + systemd 单元),没有能力探测。 2. 没有对外暴露采集器自身日志的接口。 3. 渲染 promtail 配置时直接用 deployment.Endpoint,没有校验它是不是「可连接的推送地址」; 另外容器用 bridge 网络,127.0.0.1 在容器里指向容器自身,同机 Loki 也会推失败。 修法 - services/collector_host_runtime.go(新增) * detectHostCapabilities:一次 SSH 往返探测 架构/init/systemd/docker可用/开机自启/SELinux/journald * chooseHostRunMode:docker 优先 -> systemd 兜底 -> 两者都没有则明确报错(不裸跑进程) * installHostDocker:grafana/promtail:3.4.0 容器,--restart=always --memory=256m --cpus=1 --log-opt max-size=10m,max-file=3,挂 /etc/promtail(:ro) /var/lib/promtail /var/log(:ro) (+journald 相关),SELinux Enforcing 时 --security-opt label=disable; 先 docker run --rm -check-syntax 校验配置,再替换正式配置 * waitContainerRunning:看 Status + RestartCount,起来就崩立即报错并带回 docker logs * hostPushEndpoint:0.0.0.0/:: 换真实主机 IP;容器模式下 127.0.0.1/localhost 也换; 换不了明确报错 * CollectorLogs:主机 docker logs / journalctl,K8s DaemonSet Pod 日志、Sidecar fluent-bit 容器日志 - collector_deployer.go:installHost 探测->选模式->渲染配置->分发;systemd 路径从 docker 迁回时 清理同名容器;卸载时容器与 systemd 两种方式都清(RunMode 对老记录是空的) - 拉不到镜像(内网无外网)时降级 systemd 二进制托管,其它错误原样抛出 - models/collector.go:新增 runMode 并纳入 Sanitized;services.Update 白名单同步 - 接口 GET /api/v1/collectors/:id/logs?tail=N;前端卡片加「运行方式」+「日志」弹窗 - build.sh:detect_go 的 INFO 走 stderr(原来被打进 GO_CMD,构建必失败) 验证(172.19.16.8 / pre-cex-ops-jenkins,collector id=2) - 安装后 runMode=docker,容器 Up,RestartPolicy=always,systemd promtail 自动停用 - 推送地址自动纠正为 http://172.19.16.8:3100,Loki 近 10 分钟查到 4919 条 job=system/job=app、host=pre-cex-ops-jenkins - docker 垫片模拟「docker 不可用」-> 自动回退 runMode=systemd、unit active+enabled、 日志接口 source=systemd;移除垫片重装 -> 切回 docker - 卸载:容器 0 个、unit 文件不存在、/etc/promtail 不存在、runMode 清空;重装恢复 running/0 重启 - K8s 采集器日志接口 source=kubernetes(顺带暴露 429 限流,见后续日志量治理) - go vet 干净;go test ./... 全绿(新增 chooseHostRunMode / hostPushEndpoint 等 6 组用例); tsc -b 通过 - 镜像 lghost/lokistack:latest = :v0.1 = sha256:906a6d5369d7,Pod imageID 一致
159 lines
4.2 KiB
Go
159 lines
4.2 KiB
Go
package controllers
|
||
|
||
import (
|
||
"strconv"
|
||
|
||
"lokistack/dto"
|
||
"lokistack/models"
|
||
"lokistack/services"
|
||
"lokistack/utils"
|
||
|
||
"github.com/gin-gonic/gin"
|
||
)
|
||
|
||
type CollectorController struct {
|
||
service *services.CollectorService
|
||
}
|
||
|
||
func NewCollectorController() *CollectorController {
|
||
return &CollectorController{service: services.NewCollectorService()}
|
||
}
|
||
|
||
func (ctrl *CollectorController) Create(c *gin.Context) {
|
||
var req dto.CreateCollectorRequest
|
||
if !utils.BindAndValidate(c, &req) {
|
||
return
|
||
}
|
||
collector, err := ctrl.service.Create(&services.CreateCollectorRequest{
|
||
Name: req.Name, Type: req.Type, LokiDeploymentID: req.LokiDeploymentID,
|
||
HostID: req.HostID, ClusterID: req.ClusterID, TargetDeployment: req.TargetDeployment,
|
||
Namespace: req.Namespace, LogPath: req.LogPath, Labels: req.Labels,
|
||
ScrapeJobs: req.ScrapeJobs,
|
||
})
|
||
if err != nil {
|
||
utils.Error(c, 400, err.Error())
|
||
return
|
||
}
|
||
utils.Success(c, models.SanitizedJSON(collector))
|
||
}
|
||
|
||
func (ctrl *CollectorController) Get(c *gin.Context) {
|
||
id, err := utils.IntParam(c, "id")
|
||
if err != nil {
|
||
utils.BadRequest(c, "ID 无效")
|
||
return
|
||
}
|
||
collector, err := ctrl.service.Get(uint(id))
|
||
if err != nil {
|
||
utils.NotFound(c, "采集器不存在")
|
||
return
|
||
}
|
||
utils.Success(c, models.SanitizedJSON(collector))
|
||
}
|
||
|
||
func (ctrl *CollectorController) List(c *gin.Context) {
|
||
page, pageSize := utils.Pagination(c)
|
||
collectors, total, err := ctrl.service.List(page, pageSize)
|
||
if err != nil {
|
||
utils.Error(c, 500, err.Error())
|
||
return
|
||
}
|
||
utils.Success(c, utils.PageData{
|
||
List: models.SanitizedJSON(collectors), Total: total, Page: page, PageSize: pageSize,
|
||
})
|
||
}
|
||
|
||
func (ctrl *CollectorController) Update(c *gin.Context) {
|
||
id, err := utils.IntParam(c, "id")
|
||
if err != nil {
|
||
utils.BadRequest(c, "ID 无效")
|
||
return
|
||
}
|
||
var updates map[string]interface{}
|
||
if !utils.BindAndValidate(c, &updates) {
|
||
return
|
||
}
|
||
if err := ctrl.service.Update(uint(id), updates); err != nil {
|
||
utils.Error(c, 400, err.Error())
|
||
return
|
||
}
|
||
utils.Success(c, gin.H{"message": "更新成功"})
|
||
}
|
||
|
||
func (ctrl *CollectorController) Delete(c *gin.Context) {
|
||
id, err := utils.IntParam(c, "id")
|
||
if err != nil {
|
||
utils.BadRequest(c, "ID 无效")
|
||
return
|
||
}
|
||
if err := ctrl.service.Delete(uint(id)); err != nil {
|
||
utils.Error(c, 400, err.Error())
|
||
return
|
||
}
|
||
utils.Success(c, gin.H{"message": "删除成功"})
|
||
}
|
||
|
||
func (ctrl *CollectorController) Install(c *gin.Context) {
|
||
id, err := utils.IntParam(c, "id")
|
||
if err != nil {
|
||
utils.BadRequest(c, "ID 无效")
|
||
return
|
||
}
|
||
go ctrl.service.Install(uint(id))
|
||
utils.Success(c, gin.H{"message": "已开始部署采集器"})
|
||
}
|
||
|
||
// Preview 渲染「当前配置 + 本次改动」的 promtail.yaml,只预览不落库。
|
||
// 供结构化编辑器里的「预览 YAML」按钮使用:用户能先看到将要写到目标机的配置,
|
||
// 保存前就发现路径/正则写错,而不是点了部署才发现采集起不来。
|
||
func (ctrl *CollectorController) Preview(c *gin.Context) {
|
||
id, err := utils.IntParam(c, "id")
|
||
if err != nil {
|
||
utils.BadRequest(c, "ID 无效")
|
||
return
|
||
}
|
||
var updates map[string]interface{}
|
||
if !utils.BindAndValidate(c, &updates) {
|
||
return
|
||
}
|
||
out, err := ctrl.service.PreviewConfig(uint(id), updates)
|
||
if err != nil {
|
||
utils.Error(c, 400, err.Error())
|
||
return
|
||
}
|
||
utils.Success(c, out)
|
||
}
|
||
|
||
func (ctrl *CollectorController) Uninstall(c *gin.Context) {
|
||
id, err := utils.IntParam(c, "id")
|
||
if err != nil {
|
||
utils.BadRequest(c, "ID 无效")
|
||
return
|
||
}
|
||
go ctrl.service.Uninstall(uint(id))
|
||
utils.Success(c, gin.H{"message": "已开始卸载采集器"})
|
||
}
|
||
|
||
// Logs 返回采集器最近的运行日志(主机:docker logs / journalctl;K8s:Pod 日志)。
|
||
// 主机模式下采集器日志原来只能登机器看 docker logs / journalctl,容器化后这是
|
||
// 顺带拿到的能力,排「采集器起没起来、在报什么错」不用再 SSH。
|
||
func (ctrl *CollectorController) Logs(c *gin.Context) {
|
||
id, err := utils.IntParam(c, "id")
|
||
if err != nil {
|
||
utils.BadRequest(c, "ID 无效")
|
||
return
|
||
}
|
||
tail := 200
|
||
if v := c.Query("tail"); v != "" {
|
||
if n, convErr := strconv.Atoi(v); convErr == nil && n > 0 {
|
||
tail = n
|
||
}
|
||
}
|
||
out, err := ctrl.service.CollectorLogs(uint(id), tail)
|
||
if err != nil {
|
||
utils.Error(c, 400, err.Error())
|
||
return
|
||
}
|
||
utils.Success(c, out)
|
||
}
|