rlwj-lab/LokiStack
1
0 Fork 0
Code Issues Pull Requests Actions 2 Packages Projects Releases Wiki Activity
119 Commits 1 Branch 1 Tag
63445bd598fa4da8b711ae815e4ddffedef5d9a3
Commit Graph
62 Commits
Author SHA1 Message Date
opsx cf54be3f7d fix(logs): 「所有人」策略保存被拒 + 快捷 LogQL namespace 空且不认默认策略 
=== 一、保存策略组报「用户ID无效或重复」===
validatePolicyGroup 里 `if id == 0 || seen[id]` 直接把「所有人」哨兵当非法。
修复：
  - 新增常量 AnyoneUserID = 0（与 policyGroupAccess、前端 ANYONE 对齐）
  - 0 跳过用户存在性校验，但必须独占：与具体用户混选时报
    「「所有人」不能与具体用户同时选择」
  - 重复检查独立出来，报错带具体 ID

=== 二、快捷 LogQL 的 namespace 下拉总是空的 ===
两个叠加原因：
  1. 用的是原生 <datalist>，只在输入时才提示、样式弱，看着像"下拉是空的"
  2. 候选只来自 Loki 实际值 —— 而默认策略配的 default 命名空间里没有业务 Pod，
     Loki 里根本没有这个 label 值，所以永远不出现；前端也不会拿策略值当默认选中

修复：
  后端新增 GET /api/v1/logs/my-scope?sourceId= → {labels, unrestricted}
    （services.UserAccessLabels 暴露当前用户在数据源上的授权 labels；
      admin 返回 unrestricted=true 但仍带上策略 labels 供 UI 做默认值）
  前端：
    - logsApi.myScope()
    - QuickQueryTemplates 用策略里的 namespace 作为初始选中值
    - namespaceOptions = 策略值 ∪ Loki 实际值（去重，策略值优先）
    - namespace/app/pod 三个 <datalist> 全部换成 SearchableValueSelect
      （点击即展开、可搜索，placeholder 显示「请选择（共 N 个）」）

验证：
  PUT /logs/policy-groups/1 {userIds:[0]}         → 200 ✅
  POST userIds:[0,2]（混选）                       → 400「「所有人」不能与具体用户同时选择」✅
  GET /logs/my-scope?sourceId=1                   → {"labels":{"namespace":"default"},"unrestricted":true} ✅
  bundle: my-scope 1 处、datalist 残留 0 处 ✅

镜像：lghost/lokistack:latest + v0.1 = sha256:ad659f564665
 2026-10-27 02:59:33 +00:00
opsx 4dda6e5ba8 fix(logs): 快捷 LogQL null 崩溃 + app 标签错位 + 查询授权「所有人」与默认策略 
=== 一、快捷 LogQL 报 Cannot read properties of null (reading 'map') ===
根因：Loki 对无值的 label 返回 {"data":null}，Go nil slice 序列化成 JSON null，
     前端 setState(null) 后再 .map() / [...null] / .filter() 直接抛错。
     表现为「不稳定」——切到某个没有该 label 值的范围就崩。

修复（前后端双保险）：
  后端 LokiLabels / LokiLabelValues 归一化 nil → []string{}
    （LokiHistogram 原本就返回空切片，无需改）
  前端 6 处调用点加 Array.isArray 防御：
    QuickQueryTemplates ×3、QueryInput ×2、LokiLabelBrowser ×2

=== 二、选 astralx 只显示 2 个 app（不是权限问题）===
实测：
  astralx 117 个 Deployment / 497 个 Pod
  带 app 标签的 Pod 只有 2 个（cex-promotion-web / cex-web-h5）
  其余 115 个 Deployment 的 Pod 模板没打 app，Kuboard 打的是 k8s.kuboard.cn/name
  Loki 里 service_name / container 各有 79 个值（Promtail 从容器名生成）

修复：QuickQueryTemplates 的「app」候选改为三级回退 app → service_name → container，
     并用 appLabel 状态记住实际生效的标签名，pod 收窄与 generate() 都用它，
     保证生成的 LogQL selector 真能查到数据。

=== 三、查询授权：支持「所有人」+ 内置默认策略 ===
1. 后端 policyGroupAccess：userIds 里的 0 作为哨兵值表示「所有人」(anyone / *)，
   匹配任意用户（原来只能逐个指定用户 ID）
2. 种子 seedDefaultPolicy()：首次启动且尚无任何策略组时，创建
   「默认策略（所有人 · default 命名空间）」（labels: namespace=default，userIds: [0]）。
   管理员可在「查询授权」里把命名空间改成实际业务命名空间（如 astralx），
   对该组所有用户立即生效。
3. 前端 PolicyGroupsPage：新增「所有人（anyone）」一键按钮（与具体用户互斥），
   列表与编辑区显示「所有人」，校验文案同步更新。

验证：
  GET /logs/label/nonexistent_xyz/values            → {"data":[]}
  GET /logs/label/service_name/values?query={namespace="astralx"} → 79 个
  GET /logs/policy-groups → 1 条：默认策略（所有人 · default 命名空间）所有人

镜像：lghost/lokistack:latest + v0.1 = sha256:88a4ba626f62
 2026-10-27 01:19:06 +00:00
opsx 46e73d3d17 fix(loki): COS 存储全链路修复 —— Secret 生成/env 注入/凭据解密/endpoint 规范化 
API 端到端跑通中暴露 4 个串联问题（腾讯云 COS + K8s 场景）：

1. loki_manifest.go: switch 缺少 cos / obs
   → 不生成 loki-storage-credentials Secret、不注入 LOKI_STORAGE_* 环境变量、
     也不给 Loki 加 -config.expand-env=true
   → 配置里 ${LOKI_STORAGE_ACCESS_KEY} 无法展开 → AK 为空
   → COS 返回 403 InvalidAccessKeyId（ruler 每分钟报错）
   修复：case 补上 cos / obs

2. loki_manifest.go: 生成 Secret 时用了 ENC: 密文原始值
   → Secret data 里是 ENC:xxx 而非真实 AK/SK
   修复：crypto.DecryptField 解密后再 base64

3. loki_config.go: host-docker 模式同样把密文写进配置
   修复：解密后返回

4. loki_config.go: cos/oss/obs 的 endpoint 未剥离桶名前缀
   → 用户填虚拟主机式 endpoint（mybucket-1250000000.cos.<region>...）时，
     Loki 的 S3 客户端又拼一次 bucketnames，变成 <bucket>.<bucket>.cos...
   → TLS 证书校验失败（x509: certificate is valid for ... not <bucket>.<bucket>.cos...）
   修复：新增 stripBucketPrefix，s3/cos/oss/obs/minio 分支统一剥离桶名前缀

验证（log namespace，API 端到端）：
  - Loki statefulset 1/1 Running，ruler 无 InvalidAccessKeyId/x509
  - 写入 + 查询日志成功（持久化到 COS）
  - Promtail DaemonSet 12/12 全节点就绪
  - collector status=active

运维侧附加动作（非代码，见部署文档）：
  - 存储配置改用有效 AK/SK + 区域端点 cos.ap-hongkong.myqcloud.com
  - 平台 ServiceAccount log:lokistack 绑定 cluster-admin
    （否则无法创建 Promtail 所需的 ClusterRole/ClusterRoleBinding）
 2026-10-26 19:32:38 +00:00
opsx 004375e0ce fix(ns): 命名空间固定 log —— 平台/Loki 实例/Promtail 全部收敛到 log 
按需求：所有 lokistack 相关资源（管理平台副本、Loki 实例、Promtail 采集器）
固定使用 log 命名空间，不提供覆盖开关。

改动：
1. 后端 services/deployment.go Create()：k8s-yaml 模式下 namespace 为空时
   兜底为 "log"，前端漏传也不会跑偏。
2. 前端 DeploymentCard.tsx：命名空间展示 fallback 'loki' → 'log'
3. 前端 DeploymentFormDialog.tsx：输入框 placeholder 'loki' → 'log'
   （form-schema.ts 的 DEFAULT_VALUES.namespace 原本已是 'log'）

未动：
  kubernetes/install.sh 的 NS="log" 早就是固定值
  collector_deployer.go 已自动跟随 loki.Namespace（collector.Namespace 为空时）

资源名不冲突：
  平台        lokistack / lokistack-data / lokistack-secrets / lokistack-nodeport
  Loki 实例    loki / loki-config / loki-data / loki-headless / loki-storage-credentials
  Promtail    promtail-* (DaemonSet)

镜像：lghost/lokistack:latest + v0.1 = sha256:9d15b7ffbb3d
 2026-10-26 18:55:06 +00:00
opsx cfe1ccd154 fix(storage): 按 endpoint 形态解析响应 + 凭据解密返回 + 无建桶权限友好提示 
【真实根因】COS 桶明明存在却报"桶不存在/创建失败"

用户配置：endpoint=loki-log-1394668510.cos.ap-hongkong.myqcloud.com（虚拟主机式，已含桶名）
旧代码：始终 GET / 并按 ListBuckets 的 <Buckets><Bucket><Name> 解析。
但在虚拟主机式 endpoint 下，GET / 返回的是 ListObjects（<ListBucketResult>）——
桶内对象列表，不是桶列表。解析必然找不到桶名 → 误判"桶不存在"
→ 触发建桶 PUT → 用户的 AK 无 cos:PutBucket 权限 → 403
→ 最终报"创建后校验失败"。

【实测确认（用该 AK 直连 COS）】
  GET / (vhost)         → 200  <ListBucketResult>         桶存在，能列对象
  GET / (区域端点)       → 200  <ListAllMyBucketsResult>   AK 有 cos:GetService
  HEAD /                → 403  AK 无 cos:HeadBucket
  PUT /  (CreateBucket) → 403  AK 无 cos:PutBucket
即 QcloudCOSDataFullControl = 数据面全控（读写/列桶），不含管控面（建桶/HeadBucket）。

【修复】
1. 探测统一用 GET /，再按 endpoint 形态解释响应：
   - 虚拟主机式 → 按 ListObjects（<ListBucketResult>）判断，200 即桶存在
   - 区域端点   → 按 ListBuckets（<Buckets><Bucket><Name>）匹配桶名
   桶存在就直接返回"桶已存在"，不再走建桶流程。
2. 建桶二次校验同样改用 GET /（不再用 HEAD，避免 HeadBucket 403 误判）。
3. 建桶返回 403 时给出明确友好提示：
   "当前 Access Key 无建桶权限。腾讯云 QcloudCOSDataFullControl 只授予数据读写/列出，
    不含 CreateBucket。请到 COS 控制台手动创建桶，或在 CAM 追加 cos:PutBucket"
4. models/storage.go Sanitized() 用 crypto.DecryptField 解密后再返回 AK/SK
   （原来直接返回 ENC:xxx 密文，前端编辑框显示密文）。
5. 前端访问地址输入框补充说明：推荐填区域端点（不带桶名）。

镜像：lghost/lokistack:latest + v0.1 = sha256:350478003870
 2026-10-26 18:38:00 +00:00
opsx ff69ea2ce8 fix(storage): 凭证明文返回便于编辑测试 + 建桶后二次校验防"假成功" 
问题（log.astx.club/storage）：
  1. 编辑存储时 Access Key / Secret Key 都是空的，点「测试连接」提示
     请先填写 Bucket 与 Access Key / Secret Key，无法测试也无法保存；
  2. 提示"桶不存在,已自动创建"但疑似没有真正创建；
  3. 测试失败提示用 toast 弹到右下角，不在弹框内。

修复：
  1. models/storage.go Sanitized() 返回 accessKey / secretKey 明文
     （内网运维工具，管理员需要在编辑弹框里看到并测试连接；脱敏会导致
      编辑时字段为空、校验失败）
  2. 前端 StorageConfig 类型补 accessKey / secretKey 字段；
     编辑弹框打开时回填这两个字段（原来只有 secretKey 且强制置空）；
     Secret Key 标签去掉「留空保持不变」
  3. services/storage_check.go 建桶后二次 ListBuckets 校验：
     不同对象存储 CreateBucket 语义不同（腾讯云 COS 要求桶名放 Host、
     路径为 /），直接 PUT /<bucket> 可能返回 200 但未真正创建。
     现在创建后重新列举桶，找不到就报"创建后校验失败"并提示检查
     Endpoint / Region / 桶名（COS 需带 APPID）
  4. 前端「请先填写 Bucket 与 Access Key / Secret Key」改为在弹框内
     testResult 区域显示（原来 toast 弹右下角）

镜像：lghost/lokistack:latest + v0.1 = sha256:6b6cc9769e79
 2026-10-26 18:30:47 +00:00
logan 9f7c522157 feat: K8s 部署清单、Token 接入加固与日志/设置页优化 
- kubernetes/: 30Gi PVC、单副本 Recreate、Secret/Service/NodePort/Ingress 清单与部署文档
- 数据安全: kubeconfig/token 统一加密存储，启动迁移历史明文，DB 0600
- Token 接入: 命名空间级最小权限提示、长期 Token、自签证书 TLS 兼容
- 部署: 命名空间级 Token 下跳过 Namespace patch/枚举，节点信息容错
- 日志页: namespace → app → pod 选择顺序与作用域收窄
- 设置页: 拆分为通用/告警/LDAP/镜像源四个 tab
- 弹框: 统一 max-h 滚动与长命令换行，修复内容溢出
 2026-10-25 23:44:07 +08:00
logan 2d73661dd1 feat: complete Loki query, insights, settings and deployment workflows 
Add the Loki query UI, access policies, ingress insights, alert and registry settings, and their backend APIs. Include the related Kubernetes deployment and collector updates required by the integrated application.

Validated with go test ./..., npm run build, and npm run lint.
 2026-10-25 21:28:32 +08:00
logan f9c6c1d826 feat: opsx-loki 全面升级 — 前端重构/用户与LDAP/部署向导/日志查询 
基于 WEB-UI-Development-Guide 标准的整体升级,并更名 LokiDeploy → opsx-loki。

前端(Gin+React+shadcn/ui):
- 按 02/07 章重构:页面域化拆分(无超 400 行文件)、PageContainer/ListQuery、
  反馈分级(成功静默/失败 toast/危险确认)、401 单飞刷新+队列重放
- 暗色模式(next-themes)+ 语义 Token(--primary 品牌色/success/warning/info)
- 部署向导(状态推导四步:环境→存储→Loki→采集,内嵌表单闭环)
- 日志查询页:LogQL 标签构建器/拖拽直方图/日志上下文/Live Tail/查询历史
- 按用户+标签策略的查询授权(服务端强制合并策略)

后端(Go+Gin+JSON DB):
- 简单用户管理(仅 admin,无 RBAC)+ TokenVersion 会话吊销 + 登录 IP 限流
- LDAP 接入:配置(AES 加密存储/hasPassword 脱敏)/测试连接/批量导入/登录
- 存储配置测试连接(SigV4 零依赖)+ 桶不存在自动创建
- Loki 三模式部署修复:SSH 密钥认证、3.x 配置模板、ruler 对象存储嵌套块、
  凭证解密、孤儿 deploying 状态恢复、Grafana 部署(可选默认关)+面板导入
- DaemonSet 采集纯 YAML(去 helm 依赖)+ DNS 自愈回退 ClusterIP + 集群名标签
- 日志查询代理:cluster-svc 经 kube-apiserver proxy/url 直连 + cursor 翻页
- 统一 log 命名空间;部署就绪探活;Grafana 访问地址自动记录

修复:run.sh 增量编译检测、Sanitized 脱敏补全、LokiDeployment Update 白名单、
健康检查 CreatedAt 零值等 10+ 存量 bug。

数据兼容:DB 沿用旧 lokideploy.json(新名优先);localStorage 一次性迁移;
HKDF 加密前缀保留(已加密凭证不受影响)。
 2026-10-24 13:20:12 +08:00
Logan.LiandClaude 327e282356 refactor: 前后端目录结构模块化 + v2 优化移植与缺陷修复 
前端:
- src/srv/api → src/api，按域分文件夹(auth/cluster/host/storage/deployment/collector)
- 新增 http.ts 引擎(http.get/post/put/delete)，域模块改用语义化调用
- index.html 增加 favicon(匹配应用 logo 的 emerald + Activity 脉冲)

后端分层增强(保留包名):
- 新增 repository/：从 models 拆出 JsonDB 持久化层(InitDB/GetDB/Shutdown/RequestSave)
- 新增 dto/：从 controllers 抽出各域请求契约(带 binding 校验)
- 新增 pkg/crypto、pkg/jwt：从 utils 拆出安全原语(外部 jwt 别名 jwtv5 避免冲突)
- models 只留领域实体 + sanitizer；utils 只留 gin/应用相关(response/errors)

v2 优化移植与缺陷修复:
- 移植密钥分离/SSH TOFU/并发写安全/Loki 生产级配置/Docker 加固
- 修复 deployment.go 并发丢更新、Helm values 重复键、EncryptField 哨兵、loki-gateway 端点等审计缺陷
- 实现真正的优雅关停(main.go http.Server + signal + repository.Shutdown)
- 修复登录契约:后端返回 accessToken，前端 auth.ts/Login.tsx 对齐
- 补 crypto/jwt/repository 单元测试(含并发写回归)

验证: go build/vet/test 全绿；npm run build 通过；登录→鉴权→优雅关停冒烟通过

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-30 10:46:26 +08:00
Logan.LiandClaude 673b2c60c8 feat: 新增「部署客户端」日志采集器模块 
三种采集器（host-promtail / k8s-daemonset / k8s-fluentbit-sidecar），每种关联已部署 Loki：
- host-promtail：SSH 安装 Promtail（复用 deployBinary）
- k8s-daemonset：helm 安装 Promtail DaemonSet（复用 deployHelm）
- k8s-fluentbit-sidecar：kubectl patch 注入 Fluent Bit sidecar

含 Collector 数据模型、三个部署器、配置模板、CRUD API、前端页面。
附带 UI 优化：ErrorBoundary、部署卡片浏览器访问按钮、菜单名称调整。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-29 19:26:41 +08:00
Logan.LiandClaude 2a93de600d feat: LokiDeploy 初始提交 - 轻量级 K8s Loki 部署平台 
Go(Gin) + React(Vite + shadcn/ui + Tailwind) 前后端分离，全中文 UI

- 集群管理：Kubeconfig / Token 双接入，kubectl + helm 部署
- 主机管理：SSH 密钥 / 密码双认证，CPU/内存/磁盘使用率监控，SSH 错误中文友好提示
- 存储配置、部署管理、系统设置
- Docker 镜像内置 kubectl + helm，开箱即用
- run.sh 一键启停（start/stop/restart/status）

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-29 17:03:57 +08:00