=== 一、astralx 只采集到 2 个 app(核心问题)===
实证:用户的 Deployment Pod 模板只有 k8s.kuboard.cn/name 标签,
没有 app / app.kubernetes.io/name。原模板的 app 只从这两个标签取,
所以 115 个服务的 app 全是空值,Loki 里 app 只剩零星 2 个。
修复:app 四级回退,全部基于 Kubernetes 原生元数据(跨集群通用):
1) app.kubernetes.io/name 标准约定
2) app 常见简写
3) __tmp_controller_name Pod owner(ReplicaSet) 去 hash → Deployment 名
(__meta_kubernetes_pod_controller_name 由
Promtail 直接从 K8s API 读取,任何集群都有,
不依赖 Kuboard/Rancher 等第三方工具注入的标签)
4) pod name 兜底,保证 app 永不为空
同时修复 PromtailHelmValues 模板同样的 app 逻辑,
并修正其 __meta_kubernetes__pod_name 双下划线笔误。
验证:astralx 的 app 值从 2 个 → 73 个。
=== 二、15 分钟 27 万条日志的真相 ===
排查结论:不是重复采集(positions 存 hostPath /run/promtail,Pod 重启不丢)。
真实原因:cex-openapi-gateway 残留 347 个 Evicted + 37 个 Error 的僵尸 Pod,
只有 1 个 Running。这些 Pod 的日志文件仍在 /var/log/pods/ 下,
Promtail 会把它们的历史异常堆栈(Reactor at reactor.core.publisher...)
全量采集,造成 27 万条的假象并污染存储。
修复:relabel_configs 首条加 drop 规则:
- source_labels: [__meta_kubernetes_pod_phase]
regex: (Succeeded|Failed)
action: drop
(两个模板都加)
=== 三、SecretKey 不再下发给前端 ===
安全要求:避免任何登录用户点「显示」按钮就能拿到对象存储 SK。
- StorageConfig.Sanitized(): secretKey 返回空串,仅保留 hasSecretKey 标记
(accessKey 仍明文返回,便于管理员核对用的是哪个 AK)
- 测试连接:StorageTestRequest 新增 id 字段,secretKey 留空时后端用
库里保存的凭据解密补齐(新建存储仍强制填写)
- 前端编辑时 SecretKey 一律留空 = 不修改,placeholder 显示
「已保存 · 留空则不修改」,测试时带上 id
=== 四、采集器支持指定命名空间 ===
- Collector 新增 TargetNamespaces []string,对应 promtail 的
kubernetes_sd_configs.namespaces.names(为空=全集群)
- PromtailDaemonsetYAML 新增 promtailNamespaceFilter 生成白名单
- service.Update 支持 targetNamespaces(兼容 []string 与逗号分隔字符串)
- 前端 CollectorEditDialog 增加「采集命名空间」输入(逗号分隔)
镜像:lghost/lokistack:latest + v0.1 = sha256:05b1505aedae
137 lines
3.6 KiB
Go
137 lines
3.6 KiB
Go
package controllers
|
|
|
|
import (
|
|
"opsxloki/dto"
|
|
"opsxloki/models"
|
|
"opsxloki/pkg/crypto"
|
|
"opsxloki/services"
|
|
"opsxloki/utils"
|
|
|
|
"github.com/gin-gonic/gin"
|
|
)
|
|
|
|
type StorageController struct {
|
|
service *services.StorageService
|
|
}
|
|
|
|
func NewStorageController() *StorageController {
|
|
return &StorageController{service: services.NewStorageService()}
|
|
}
|
|
|
|
func (ctrl *StorageController) Create(c *gin.Context) {
|
|
var req dto.CreateStorageRequest
|
|
if !utils.BindAndValidate(c, &req) {
|
|
return
|
|
}
|
|
storage, err := ctrl.service.Create(req.Name, req.StorageType, req.Endpoint, req.Bucket,
|
|
req.Region, req.AccessKey, req.SecretKey, req.PathPrefix, req.Insecure, req.IsDefault)
|
|
if err != nil {
|
|
utils.Error(c, 400, err.Error())
|
|
return
|
|
}
|
|
utils.Success(c, models.SanitizedJSON(storage))
|
|
}
|
|
|
|
func (ctrl *StorageController) Get(c *gin.Context) {
|
|
id, err := utils.IntParam(c, "id")
|
|
if err != nil {
|
|
utils.BadRequest(c, "ID 无效")
|
|
return
|
|
}
|
|
storage, err := ctrl.service.Get(uint(id))
|
|
if err != nil {
|
|
utils.NotFound(c, "存储配置不存在")
|
|
return
|
|
}
|
|
utils.Success(c, models.SanitizedJSON(storage))
|
|
}
|
|
|
|
func (ctrl *StorageController) List(c *gin.Context) {
|
|
page, pageSize := utils.Pagination(c)
|
|
storages, total, err := ctrl.service.List(page, pageSize)
|
|
if err != nil {
|
|
utils.Error(c, 500, err.Error())
|
|
return
|
|
}
|
|
utils.Success(c, utils.PageData{
|
|
List: models.SanitizedJSON(storages),
|
|
Total: total, Page: page, PageSize: pageSize,
|
|
})
|
|
}
|
|
|
|
func (ctrl *StorageController) Update(c *gin.Context) {
|
|
id, err := utils.IntParam(c, "id")
|
|
if err != nil {
|
|
utils.BadRequest(c, "ID 无效")
|
|
return
|
|
}
|
|
var updates map[string]interface{}
|
|
if !utils.BindAndValidate(c, &updates) {
|
|
return
|
|
}
|
|
if err := ctrl.service.Update(uint(id), updates); err != nil {
|
|
utils.Error(c, 400, err.Error())
|
|
return
|
|
}
|
|
utils.Success(c, gin.H{"message": "updated"})
|
|
}
|
|
|
|
func (ctrl *StorageController) Delete(c *gin.Context) {
|
|
id, err := utils.IntParam(c, "id")
|
|
if err != nil {
|
|
utils.BadRequest(c, "ID 无效")
|
|
return
|
|
}
|
|
if err := ctrl.service.Delete(uint(id)); err != nil {
|
|
utils.Error(c, 400, err.Error())
|
|
return
|
|
}
|
|
utils.Success(c, gin.H{"message": "deleted"})
|
|
}
|
|
|
|
func (ctrl *StorageController) GetDefault(c *gin.Context) {
|
|
storage, err := ctrl.service.GetDefault()
|
|
if err != nil {
|
|
utils.NotFound(c, "未设置默认存储配置")
|
|
return
|
|
}
|
|
utils.Success(c, models.SanitizedJSON(storage))
|
|
}
|
|
|
|
// TestConnection 测试对象存储连接(凭证 + 桶存在性,可选自动创建;不落库)
|
|
func (ctrl *StorageController) TestConnection(c *gin.Context) {
|
|
var req dto.StorageTestRequest
|
|
if !utils.BindAndValidate(c, &req) {
|
|
return
|
|
}
|
|
accessKey, secretKey := req.AccessKey, req.SecretKey
|
|
// SecretKey 出于安全不返回给前端;编辑态测试时前端留空,
|
|
// 这里用库里保存的凭据补齐(AccessKey 同理,前端通常会带上,但不强制)。
|
|
if (accessKey == "" || secretKey == "") && req.ID > 0 {
|
|
if cfg, err := ctrl.service.Get(req.ID); err == nil {
|
|
if accessKey == "" {
|
|
accessKey = crypto.DecryptField(cfg.AccessKey)
|
|
}
|
|
if secretKey == "" {
|
|
secretKey = crypto.DecryptField(cfg.SecretKey)
|
|
}
|
|
}
|
|
}
|
|
if accessKey == "" || secretKey == "" {
|
|
utils.BadRequest(c, "缺少 Access Key / Secret Key:新建存储时必须填写")
|
|
return
|
|
}
|
|
|
|
result := services.TestStorageConnection(services.StorageTestParams{
|
|
StorageType: req.StorageType,
|
|
Endpoint: req.Endpoint,
|
|
Bucket: req.Bucket,
|
|
Region: req.Region,
|
|
AccessKey: accessKey,
|
|
SecretKey: secretKey,
|
|
Insecure: req.Insecure,
|
|
CreateIfMissing: req.CreateIfMissing,
|
|
})
|
|
utils.Success(c, result)
|
|
}
|