feat(deployments,analysis): 保留弹框重设计 + 分析页命名空间筛选 + 过期 chunk 真正删除

=== 一、保留策略弹框重设计(RetentionDialog)===
旧版问题:
1. 主输入是 YAML textarea,用户必须会写 `limits_config.retention_period: 30d`
2. 三个按钮:取消 / 仅保存 / 保存并应用 —— 「仅保存」只改部署记录不重载 Loki,
   今天已经造成一次真实故障:DB 记录 7 天、运行时 ConfigMap 是 24h,配置漂移
3. 「查看完整配置」是独立按钮 + 独立状态,多一次点击
4. 硬编码提示 `retention_delete_delay: 2h`,而实际已改成 10m,属于误导

新版:
- 主输入改为**保留天数数字框**(1–3650),YAML 由前端拼,用户不用写
- 快捷预设 1/7/14/30/90,实时显示「= 720 小时」
- >7 天给出存储成本提示
- 完整运行 config 改成 `<details>` 折叠,展开即自动加载(去掉独立按钮)
- **按钮只剩 2 个:取消 / 保存并应用**
- 删掉硬编码的 compactor 提示块

=== 二、日志分析页加命名空间筛选 ===
根因:analysis 页写死 namespace: '',等价 `{namespace=~".+"}` —— 一次分析扫全集群
(实测约 370 GB/天),5 条 count_over_time 跑 30s 都出不来,页面永远转圈。

- 新增命名空间下拉(从 Loki label values 拉取,localStorage 记忆)
- 默认取业务命名空间 astralx(其次列表首个),不再默认全集群
- 「全部命名空间(较慢)」降级为显式选项
- 命名空间未就绪时先显示 loading,避免先发一次全集群查询
- 5 条查询改**分批(每批 2 条)**执行 + 429 自动重试一次

=== 三、后端并发/超时调整 ===
- 重查询并发上限 2 → 4,且拿不到令牌时**排队最多 10s**再拒绝
  (原来立即 429,导致分析页 5 条并发里有 3 条直接失败)
- maxLogQueryLimit 1000 → 5000,与前端下拉完全对齐(原来前端选 5000 会被静默截断)

=== 四、过期 chunk 真正删除(关键修复)===
实测发现:索引表已从 COS 删除,但 chunk 对象仍残留 21,354 个 / 24.8 GB,
最老的 45 小时前 —— 因为 Loki 默认 `retention_delete_delay` = **2h**,
标记后要等 2 小时才真正删 chunk。

- 配置显式设置 `compactor.retention_delete_delay: 10m`
- 已用 `loki -verify-config` 校验(config is valid)
- 删除前后对比:
    对象数 46,536 → 23,934;占用 53.61 GB → 27.25 GB
    超期对象 21,354 个 / 24.8 GB → **0 个**
    桶内最老对象 45.2h → 24.4h(= 保留期 1 天)
- deployment_config_test 同步调整:retention_delete_delay 从"禁止出现"移入"必须存在"

镜像:lghost/lokistack:latest + v0.1 = sha256:b4d98e016bca
This commit is contained in:
opsx committed 2026-10-28 17:05:57 +00:00
1 parent 53c7d64b35
commit a32f93f533
12 files changed
+265 -97

No files matched your search

+21 -6
View File
@@ -23,10 +23,11 @@ import (
"lokistack/repository"
)
// maxLogQueryLimit 单页硬上限。依据:实测每条日志约 671B——
// 1000 条 ≈ 655KB 响应;而前端结果表**没有虚拟滚动**,1000 行会全部渲染成
// DOM 节点导致卡顿。前端下拉只给到 1000,超过会被这里静默收敛。
const maxLogQueryLimit = 1000
// maxLogQueryLimit 单页硬上限,与前端下拉选项保持**完全一致**,
// 避免"前端能选 5000、后端静默截成 1000"这种假选项。
// 取值 5000 = Loki limits_config.max_entries_limit_per_query 的默认上限;
// 前端结果表已加虚拟滚动(>100 条只渲染可视区),5000 行不会卡。
const maxLogQueryLimit = 5000
const logQueryTimeout = 120 * time.Second
var lokiHTTPClients = [2]*http.Client{
@@ -417,8 +418,13 @@ const (
maxHistogramRange = 7 * 24 * time.Hour
// 重查询(histogram/metrics)单独的更短超时,避免长时间占用 CPU
heavyQueryTimeout = 30 * time.Second
// 全局并发重查询上限:超过直接快速失败,保护单实例 Loki
maxConcurrentHeavyQueries = 2
// 全局并发重查询上限。取 4 而不是 2:
// 日志分析页一次会并发 5 条 count_over_time,限制 2 会让大部分请求拿不到令牌。
maxConcurrentHeavyQueries = 4
// 拿不到令牌时最多排队 10 秒再拒绝。
// 原来"立即 429"会把分析页 5 条并发里的 3 条直接打回,
// 用户看到的就是"当前有较多日志量统计在进行"。
heavyQueryWait = 10 * time.Second
)
// ErrTooManyQueries 并发重查询超限(handler 映射为 429)
@@ -427,11 +433,20 @@ var ErrTooManyQueries = errors.New("当前有较多日志量统计在进行,
// heavyQuerySem 全局重查询信号量
var heavyQuerySem = make(chan struct{}, maxConcurrentHeavyQueries)
// acquireHeavyQuery 先尝试立即获取;拿不到则最多排队 heavyQueryWait。
// 突发(如分析页并发 5 条)会自然排队消化,只有持续超载才返回 429。
func acquireHeavyQuery() bool {
select {
case heavyQuerySem <- struct{}{}:
return true
default:
}
timer := time.NewTimer(heavyQueryWait)
defer timer.Stop()
select {
case heavyQuerySem <- struct{}{}:
return true
case <-timer.C:
return false
}
}