feat(analysis,alerts): 每日量落库看历史趋势、趋势图/饼图可读性、告警三分页
=== 1. 每日日志量必须落库（核心问题：Loki 只留 24 小时）===
实测：请求"近 7 天每日量"，Loki 只返回 27 个**小时**桶，全部在最近 24h 内 ——
因为 retention_period=24h，更早的 chunk 已经被删了。
也就是说「固定近 7 天」这张卡片，过去一直是"6 天空白 + 1 天有数据"，
用户看着像坏了，实际是数据物理不存在。
方案：平台自己留存历史。
- models.DailyVolumeSnapshot{Date(本地YYYY-MM-DD), SourceID, Bytes, Entries, Partial}
- services/daily_volume.go
CaptureDailyVolume 按天抓 index/stats 落库（幂等覆盖）
StartDailyVolumeCapture 启动 20s 后回补 + 每 30 分钟检查一次
GetDailyVolumeHistory 读库返回最近 N 天（今天会实时补抓）
- 保留 400 天（够看年度趋势），按 source+date 去重
- 前端可选 7 / 30 / 90 / 365 天，能看多长取决于平台积累多久
为什么用"每 30 分钟检查昨天有没有落库"而不是固定 00:10 定时：
平台可能整晚没运行，固定时点的定时器会直接错过；检查式回补不依赖平台在线时刻。
Partial 标记（关键，否则会误读）：
- 当天未结束 → partial=true
- 待抓取日期的起点已超出 24h 保留期 → partial=true（Loki 里就没那么多数据）
实测：10-27 32.5GB/2.65亿条 partial=true（保留期外），
10-28 348GB/28.56亿条 partial=true（当天进行中）
=== 2. 修一个 Go 副本 bug（自己写的，靠实测发现）===
第一版用 `for _, snap := range db.DailyVolumeSnapshots` 后改 snap 字段，
range 拿到的是**副本**，改动不会写回切片 → 同一天永远保持首次抓取的值，
partial 也永不更新（实测发现 10-27 该是 true 却显示 false）。
改为 `for i := range ... { snap := &db.DailyVolumeSnapshots[i] }`。
=== 3. 趋势图可读性 ===
从"裸折线"换成"渐变面积图"，并在图上方给出峰值 / 均值：
- 面积图能一眼看出"这一段整体比上一段高"，折线只能靠对齐格子数
- 峰值/均值避免用户自己对刻度
- Y 轴与 tooltip 统一 formatBytes，"每桶体积"写进 subtitle
顺带确认：趋势图只画体积（字节），不再混入 error（条数）——单位不同不能同轴。
=== 4. 饼图：命名空间分布 → 应用日志量分布 ===
本环境的命名空间只有 astralx / log 两个，饼图没有信息量；
改成按应用看谁在刷日志（前 8 名 + 其他），才是运维真正要的答案。
=== 5. 告警页拆成三个 Tab ===
「告警规则 / 通知通道 / 发送历史」独立成分页（用 ui/tabs）。
之前通道是折叠块、历史堆在规则下面，规则一多就要滚很久才看得到。
发送历史增加空状态文案，不再是"空页面不知道有没有在发"。
=== 6. 内置规则关联默认通道 + 首次部署 webhook 留空的评估 ===
结论：**webhook 可以留空，但通道必须是禁用状态**。
- 若种子给的是"已启用 + 空地址"通道，规则一命中就必然投递失败，
发送历史堆满红色失败，反而让人以为平台坏了
- 所以首次部署建一个**禁用**的占位通道「默认通知通道（待配置 Webhook）」，
内置规则全部挂到它；管理员填好 Webhook 再启用即可，不用逐条关联
- 保存时加校验：启用则必须有非空 Webhook（返回明确原因，不是裸 500）
- schemaVersion v5→v6：把已有的"无通道"规则补挂到默认通道
实测：8 条规则全部已关联通道
=== 实测（v11-1028-2252 / 187062644c0f）===
/logs/daily-volume?days=7 → 2 天数据，partial 标记正确
规则 8 条全部有 channelIds
平台 ready、健康 ok
This commit is contained in:
opsx committed
1 parent
cb91470d75
commit
37e2f0febc
20 files changed
+716
-202
No files matched your search
@@ -1,34 +1,25 @@
|
||||
import { useCallback, useEffect, useRef, useState } from 'react'
|
||||
import { logsApi } from '@/api/logs'
|
||||
|
||||
export interface DailyAppRow {
|
||||
app: string
|
||||
namespace: string
|
||||
/** 每个自然日(本地时区)的日志总量,与 days 一一对应 */
|
||||
totals: number[]
|
||||
total: number
|
||||
}
|
||||
import { logsApi, type DailyVolumePoint } from '@/api/logs'
|
||||
|
||||
export interface DailyVolumeData {
|
||||
days: string[]
|
||||
apps: DailyAppRow[]
|
||||
points: DailyVolumePoint[]
|
||||
/** 历史覆盖的最早日期（用于提示"可查看范围"） */
|
||||
earliest: string
|
||||
}
|
||||
|
||||
const DAY_MS = 86400000
|
||||
const RANGE_DAYS = 7
|
||||
const ns = (ms: number) => Math.round(ms).toString() + '000000'
|
||||
const dayLabel = (ts: number) => new Date(ts).toLocaleDateString([], { month: '2-digit', day: '2-digit' })
|
||||
|
||||
/**
|
||||
* 应用每日日志量(近 7 天,Top 10)— 独立于页面时间范围筛选:
|
||||
* 一条 `sum by (app, namespace)(count_over_time(sel[$step]))` 查询(7 天跨度后端自动选 1h 步长),
|
||||
* 客户端把小时桶按本地日历日聚合,避免为每天单独发查询。
|
||||
* 每日日志量（平台留存历史，不走 Loki 实时统计）。
|
||||
*
|
||||
* 为什么要落库：
|
||||
* Loki retention 默认 24 小时，「近 7 天」直接查 Loki 只有 1 天有数据。
|
||||
* 平台后台每 30 分钟把「昨天 / 今天」的量写进自己的库，
|
||||
* 所以这里读到的是真历史，能支撑 30 天 / 90 天 / 1 年的趋势。
|
||||
*
|
||||
* 成本：一次 HTTP 读 JSON（毫秒级），不碰 Loki。
|
||||
*/
|
||||
export function useDailyVolume({ sourceId, namespace, appLabel, enabled = true }: {
|
||||
export function useDailyVolume({ sourceId, days, enabled = true }: {
|
||||
sourceId: number
|
||||
namespace: string
|
||||
appLabel: string
|
||||
/** 卡片滚动到视口内才发查询（索引接口很快，但没必要首屏就抢带宽） */
|
||||
days: number
|
||||
enabled?: boolean
|
||||
}) {
|
||||
const [data, setData] = useState<DailyVolumeData | null>(null)
|
||||
@@ -42,55 +33,21 @@ export function useDailyVolume({ sourceId, namespace, appLabel, enabled = true }
|
||||
|
||||
useEffect(() => {
|
||||
if (!sourceId || !enabled) return
|
||||
const end = Date.now()
|
||||
// 从今天往前取整 7 个自然日(首尾两天可能是不完整天)
|
||||
const today = Math.floor(end / DAY_MS) * DAY_MS
|
||||
const days = Array.from({ length: RANGE_DAYS }, (_, index) => today - (RANGE_DAYS - 1 - index) * DAY_MS)
|
||||
const start = days[0]
|
||||
|
||||
abortRef.current?.abort()
|
||||
const controller = new AbortController()
|
||||
abortRef.current = controller
|
||||
const version = ++versionRef.current
|
||||
|
||||
const selector = namespace ? `{namespace="${namespace}"}` : '{namespace=~".+"}'
|
||||
void (async () => {
|
||||
setLoading(true)
|
||||
setError('')
|
||||
try {
|
||||
// 走索引接口而不是 count_over_time。
|
||||
//
|
||||
// 原来这条查 7 天 × count_over_time，实测该环境约 370GB/天 → 要扫 2.6TB，
|
||||
// 后端 90s 也跑不完，图表永远空/超时。
|
||||
// /logs/histogram 内部用 index/volume_range，只读 chunk 元数据，
|
||||
// 7 天跨度也是毫秒级；代价是**只能拿到总量，拿不到 per-app 拆分**
|
||||
// （Loki 的索引接口不支持按任意 label 分组）。
|
||||
// 因此这里展示"每日日志总量"，应用维度交给下方的 Top 应用表格（它有单独的时间范围）。
|
||||
const hist = await logsApi.histogram(
|
||||
{ sourceId, query: selector, start: Number(ns(start)), end: Number(ns(end)) },
|
||||
{ signal: controller.signal },
|
||||
)
|
||||
const points = await logsApi.dailyVolume(sourceId, days, { signal: controller.signal })
|
||||
if (version !== versionRef.current) return
|
||||
|
||||
// 索引返回的是字节数，按本地自然日聚合
|
||||
const dayBytes = days.map(() => 0)
|
||||
for (const bucket of (hist || [])) {
|
||||
const ts = String((bucket as { timestamp: string }).timestamp ?? '')
|
||||
const value = Number((bucket as { count: number }).count ?? 0)
|
||||
const day = Math.floor(new Date(ts).getTime() / DAY_MS) * DAY_MS
|
||||
const index = days.indexOf(day)
|
||||
if (index >= 0) dayBytes[index] += value
|
||||
}
|
||||
setData({
|
||||
days: days.map(dayLabel),
|
||||
apps: [{
|
||||
app: '全部应用',
|
||||
namespace: namespace || '',
|
||||
totals: dayBytes,
|
||||
total: dayBytes.reduce((sum, value) => sum + value, 0),
|
||||
}],
|
||||
points: points ?? [],
|
||||
earliest: points?.[0]?.date ?? '',
|
||||
})
|
||||
return
|
||||
} catch (err) {
|
||||
if ((err as Error).name === 'AbortError') return
|
||||
if (version === versionRef.current) setError(err instanceof Error ? err.message : 'daily volume failed')
|
||||
@@ -100,7 +57,7 @@ export function useDailyVolume({ sourceId, namespace, appLabel, enabled = true }
|
||||
})()
|
||||
|
||||
return () => { controller.abort() }
|
||||
}, [sourceId, namespace, appLabel, refreshTick, enabled])
|
||||
}, [sourceId, days, refreshTick, enabled])
|
||||
|
||||
return { data, loading, error, refresh }
|
||||
}
|
||||
Reference in new issue
Block a user