fix(daily-volume): 30/90/365 天切换"没反应";/logs/stats 加短缓存
CI / Backend (go vet + test) (push) Canceled after 0s
CI / Frontend (lint + build + test) (push) Canceled after 0s

=== 1. 切换范围没反应(真 bug)===
现象:7/30/90/365 天切换后图完全一样。
根因:GetDailyVolumeHistory 只返回**已抓到的快照**。平台只有 4 天数据,
      所以任何 days 都只返回 4 个点 → 图表一模一样。
修复:始终返回 days 个点,缺失的天用 Missing=true 标记。
      实测:days=7→7 点(缺3)、30→30 点(缺26)、90→90(缺86)、365→365(缺361)。

为什么必须区分 Missing 和"0 字节":
  前者是"平台没留存",后者是"那天确实没日志"。
  混在一起会让 30/90 天的图上出现大片 0,被误读成"日志量暴跌/系统停摆"。
前端:缺失的天画灰色浅柱,tooltip 显示"未留存",图下方提示
      "其中 N 天平台没有留存记录(灰色柱),不是当天没有日志"。

=== 2. /logs/stats 加 90 秒缓存 ===
分析页每次进入/切范围都打 index/stats,实测 5 分钟窗口冷查询 1.2 秒
(60 分钟更慢)。这类聚合值可容忍分钟级陈旧,加与指标查询一致的缓存:
  90s TTL + 时间窗按 2 分钟取整 + 上限 200 条 + 过期清理
实测:重复请求 1227ms → 8ms。

=== 3. 顺带确认已生效的优化 ===
  histogram(24h)   : 54ms(volume_range)
  daily-volume     : 10ms(只读库)
  stats 二次请求    : 8ms(新缓存)
  长范围(>1h)       : 不跑 count_over_time(预聚合快照 + 跳过内容扫描)

Pod = Hub latest = 12453ea723c1
This commit is contained in:
opsx committed 2026-10-30 16:46:40 +00:00
1 parent 5c7a3ec81d
commit 7b1ffd0274
7 files changed
+118 -26

No files matched your search

+1 -1
View File
@@ -386,7 +386,7 @@ func (ctrl *LogsController) Stats(c *gin.Context) {
utils.Forbidden(c, err.Error())
return
}
st, err := services.LokiStatsFor(c.Request.Context(), src, query, req.Start, req.End)
st, err := services.LokiStatsCached(c.Request.Context(), src, query, req.Start, req.End)
if err != nil {
// Loki 的 index/stats 只支持标签选择器。查询里带 `|= "error"` 这类行过滤时
// Loki 回 400 "only label matchers are supported",原来被包装成 502
+31 -20
View File
@@ -3,7 +3,6 @@ package services
import (
"context"
"log"
"sort"
"time"
"lokistack/models"
@@ -19,6 +18,10 @@ type DailyVolumePoint struct {
Partial bool `json:"partial"`
// FromHistory true=来自平台留存历史;false=刚从 Loki 实时查的
FromHistory bool `json:"fromHistory"`
// Missing 该天平台没有抓到快照(超过留存期/平台当天没运行)。
// 必须和"当天日志量真的是 0"区分开:前者是"不知道",后者是"确实没日志"。
// 否则 30/90/365 天的图上会出现大片 0,被误读成"日志量暴跌"。
Missing bool `json:"missing"`
}
const (
@@ -216,30 +219,38 @@ func GetDailyVolumeHistory(sourceID uint, days int) []DailyVolumePoint {
// 而且这条重查询还和页面的 histogram/stats 抢 Loki,导致那两个接口同时 502。
// 当天那根柱子由后台定时任务(每 30 分钟)补,慢几分钟完全可接受。
from := dateKey(time.Now().AddDate(0, 0, -(days - 1)))
points := []DailyVolumePoint{}
// 始终返回 days 个点(缺失的那天标 Missing)。
// 之前只返回"已抓到的快照",于是 7/30/90/365 全都返回同样 4 个点,
// 用户切范围看不到任何变化,以为"切换没反应"。
now := time.Now()
byDate := map[string]models.DailyVolumeSnapshot{}
db := repository.GetDB()
if db == nil {
return points
if db != nil {
db.RLock()
for _, snap := range db.DailyVolumeSnapshots {
if snap.SourceID != sourceID || snap.Namespace != "" {
continue
}
byDate[snap.Date] = snap
}
db.RUnlock()
}
db.RLock()
defer db.RUnlock()
for _, snap := range db.DailyVolumeSnapshots {
if snap.SourceID != sourceID || snap.Namespace != "" {
points := make([]DailyVolumePoint, 0, days)
for i := days - 1; i >= 0; i-- {
date := dateKey(now.AddDate(0, 0, -i))
if snap, ok := byDate[date]; ok {
points = append(points, DailyVolumePoint{
Date: snap.Date,
Bytes: snap.Bytes,
Entries: snap.Entries,
Partial: snap.Partial,
FromHistory: true,
})
continue
}
if snap.Date < from {
continue
}
points = append(points, DailyVolumePoint{
Date: snap.Date,
Bytes: snap.Bytes,
Entries: snap.Entries,
Partial: snap.Partial,
FromHistory: true,
})
points = append(points, DailyVolumePoint{Date: date, Missing: true, FromHistory: true})
}
sort.Slice(points, func(i, j int) bool { return points[i].Date < points[j].Date })
return points
}
+55
View File
@@ -701,6 +701,61 @@ func LokiMetrics(ctx context.Context, src *models.LogSource, query string, start
return series, nil
}
// ── 总条数/总体积的短缓存 ─────────────────────────────────────────────
// /logs/stats 走 index/stats,实测 5 分钟窗口要 1.2 秒(60 分钟更慢)。
// 分析页每次进页面、每次切时间范围都会打它,而这类聚合值的可容忍陈旧度
// 与指标查询一致(分钟级),所以用同样的 90s TTL + 2 分钟取整。
const (
statsCacheTTL = 90 * time.Second
statsCacheMax = 200
)
type statsCacheEntry struct {
stats *LokiStats
expiresAt time.Time
}
var (
statsCacheMu sync.Mutex
statsCache = map[string]statsCacheEntry{}
)
// LokiStatsCached 带短缓存的总量统计。
func LokiStatsCached(ctx context.Context, src *models.LogSource, query string, start, end int64) (*LokiStats, error) {
key := ""
if src != nil {
bucket := int64(metricCacheBucket)
key = fmt.Sprintf("%d|%s|%d|%d", src.ID, query, start/bucket, end/bucket)
statsCacheMu.Lock()
if entry, ok := statsCache[key]; ok && time.Now().Before(entry.expiresAt) {
statsCacheMu.Unlock()
return entry.stats, nil
}
statsCacheMu.Unlock()
}
st, err := LokiStatsFor(ctx, src, query, start, end)
if err != nil || key == "" {
return st, err
}
statsCacheMu.Lock()
if len(statsCache) >= statsCacheMax {
now := time.Now()
for k, v := range statsCache {
if now.After(v.expiresAt) {
delete(statsCache, k)
}
}
if len(statsCache) >= statsCacheMax {
statsCache = map[string]statsCacheEntry{}
}
}
statsCache[key] = statsCacheEntry{stats: st, expiresAt: time.Now().Add(statsCacheTTL)}
statsCacheMu.Unlock()
return st, nil
}
// lokiMetricsUncached 真正打 Loki 的实现(不带缓存)。
func lokiMetricsUncached(ctx context.Context, src *models.LogSource, query string, start, end int64) ([]MetricSeries, error) {
if end <= 0 {