opsx
37e2f0febc
=== 1. 每日日志量必须落库（核心问题：Loki 只留 24 小时）===
实测：请求"近 7 天每日量"，Loki 只返回 27 个**小时**桶，全部在最近 24h 内 ——
因为 retention_period=24h，更早的 chunk 已经被删了。
也就是说「固定近 7 天」这张卡片，过去一直是"6 天空白 + 1 天有数据"，
用户看着像坏了，实际是数据物理不存在。
方案：平台自己留存历史。
- models.DailyVolumeSnapshot{Date(本地YYYY-MM-DD), SourceID, Bytes, Entries, Partial}
- services/daily_volume.go
CaptureDailyVolume 按天抓 index/stats 落库（幂等覆盖）
StartDailyVolumeCapture 启动 20s 后回补 + 每 30 分钟检查一次
GetDailyVolumeHistory 读库返回最近 N 天（今天会实时补抓）
- 保留 400 天（够看年度趋势），按 source+date 去重
- 前端可选 7 / 30 / 90 / 365 天，能看多长取决于平台积累多久
为什么用"每 30 分钟检查昨天有没有落库"而不是固定 00:10 定时：
平台可能整晚没运行，固定时点的定时器会直接错过；检查式回补不依赖平台在线时刻。
Partial 标记（关键，否则会误读）：
- 当天未结束 → partial=true
- 待抓取日期的起点已超出 24h 保留期 → partial=true（Loki 里就没那么多数据）
实测：10-27 32.5GB/2.65亿条 partial=true（保留期外），
10-28 348GB/28.56亿条 partial=true（当天进行中）
=== 2. 修一个 Go 副本 bug（自己写的，靠实测发现）===
第一版用 `for _, snap := range db.DailyVolumeSnapshots` 后改 snap 字段，
range 拿到的是**副本**，改动不会写回切片 → 同一天永远保持首次抓取的值，
partial 也永不更新（实测发现 10-27 该是 true 却显示 false）。
改为 `for i := range ... { snap := &db.DailyVolumeSnapshots[i] }`。
=== 3. 趋势图可读性 ===
从"裸折线"换成"渐变面积图"，并在图上方给出峰值 / 均值：
- 面积图能一眼看出"这一段整体比上一段高"，折线只能靠对齐格子数
- 峰值/均值避免用户自己对刻度
- Y 轴与 tooltip 统一 formatBytes，"每桶体积"写进 subtitle
顺带确认：趋势图只画体积（字节），不再混入 error（条数）——单位不同不能同轴。
=== 4. 饼图：命名空间分布 → 应用日志量分布 ===
本环境的命名空间只有 astralx / log 两个，饼图没有信息量；
改成按应用看谁在刷日志（前 8 名 + 其他），才是运维真正要的答案。
=== 5. 告警页拆成三个 Tab ===
「告警规则 / 通知通道 / 发送历史」独立成分页（用 ui/tabs）。
之前通道是折叠块、历史堆在规则下面，规则一多就要滚很久才看得到。
发送历史增加空状态文案，不再是"空页面不知道有没有在发"。
=== 6. 内置规则关联默认通道 + 首次部署 webhook 留空的评估 ===
结论：**webhook 可以留空，但通道必须是禁用状态**。
- 若种子给的是"已启用 + 空地址"通道，规则一命中就必然投递失败，
发送历史堆满红色失败，反而让人以为平台坏了
- 所以首次部署建一个**禁用**的占位通道「默认通知通道（待配置 Webhook）」，
内置规则全部挂到它；管理员填好 Webhook 再启用即可，不用逐条关联
- 保存时加校验：启用则必须有非空 Webhook（返回明确原因，不是裸 500）
- schemaVersion v5→v6：把已有的"无通道"规则补挂到默认通道
实测：8 条规则全部已关联通道
=== 实测（v11-1028-2252 / 187062644c0f）===
/logs/daily-volume?days=7 → 2 天数据，partial 标记正确
规则 8 条全部有 channelIds
平台 ready、健康 ok
426 lines
13 KiB
Go
426 lines
13 KiB
Go
package controllers
|
||
|
||
import (
|
||
"context"
|
||
"errors"
|
||
"net/http"
|
||
"strconv"
|
||
"strings"
|
||
"time"
|
||
|
||
"lokistack/dto"
|
||
"lokistack/models"
|
||
"lokistack/services"
|
||
"lokistack/utils"
|
||
|
||
"github.com/gin-gonic/gin"
|
||
)
|
||
|
||
// 上下文前后条数的默认值与上限（原来是硬编码 5）
|
||
const (
|
||
DefaultContextLines = 2
|
||
MaxContextLines = 50
|
||
)
|
||
|
||
// normalizeContextLines 把前端传入的条数收敛到 [1, MaxContextLines]，
|
||
// 不传(0)或负数一律用默认值。
|
||
func normalizeContextLines(n int) int {
|
||
if n <= 0 {
|
||
return DefaultContextLines
|
||
}
|
||
if n > MaxContextLines {
|
||
return MaxContextLines
|
||
}
|
||
return n
|
||
}
|
||
|
||
func (ctrl *LogsController) Context(c *gin.Context) {
|
||
var req dto.LogContextRequest
|
||
if !utils.BindAndValidate(c, &req) {
|
||
return
|
||
}
|
||
src := services.GetLogSource(req.SourceID)
|
||
if src == nil {
|
||
utils.BadRequest(c, "数据源不存在")
|
||
return
|
||
}
|
||
ts, err := strconv.ParseInt(req.TimestampNs, 10, 64)
|
||
if err != nil || ts < 1 {
|
||
utils.BadRequest(c, "时间戳无效")
|
||
return
|
||
}
|
||
selector, err := services.ContextLogSelector(req.Labels)
|
||
if err != nil {
|
||
utils.BadRequest(c, err.Error())
|
||
return
|
||
}
|
||
query, err := services.AuthorizedLogQuery(src, c.GetUint("userId"), c.GetString("role") == "admin", selector)
|
||
if err != nil {
|
||
utils.Forbidden(c, err.Error())
|
||
return
|
||
}
|
||
// 前后条数由前端传入（默认 2 条，上限 50 —— 再多一次弹窗就是几百条日志）
|
||
beforeN := normalizeContextLines(req.Before)
|
||
afterN := normalizeContextLines(req.After)
|
||
|
||
// 时间窗随条数自适应：原来固定 5 分钟，条数调大时 5 分钟可能装不下，
|
||
// 条数调小时又白扫一大片。按「每条 30s」估算，最少 1 分钟，最多 2 小时。
|
||
span := int64(time.Duration(max(beforeN, afterN)*30) * time.Second)
|
||
if span < int64(time.Minute) {
|
||
span = int64(time.Minute)
|
||
}
|
||
if span > int64(2*time.Hour) {
|
||
span = int64(2 * time.Hour)
|
||
}
|
||
|
||
before, err := services.QueryLokiLogs(c.Request.Context(), src, query, ts-span, ts-1, beforeN, "backward", "")
|
||
if err != nil {
|
||
utils.Error(c, 502, err.Error())
|
||
return
|
||
}
|
||
after, err := services.QueryLokiLogs(c.Request.Context(), src, query, ts+1, ts+span, afterN, "forward", "")
|
||
if err != nil {
|
||
utils.Error(c, 502, err.Error())
|
||
return
|
||
}
|
||
utils.Success(c, gin.H{"before": before.Entries, "after": after.Entries})
|
||
}
|
||
|
||
// LogsController 日志查询代理 + 数据源管理
|
||
type LogsController struct{}
|
||
|
||
func NewLogsController() *LogsController {
|
||
return &LogsController{}
|
||
}
|
||
|
||
// ==================== 数据源 ====================
|
||
|
||
func (ctrl *LogsController) ListSources(c *gin.Context) {
|
||
if c.GetString("role") == "admin" {
|
||
services.EnsureLogSourcesForRunningDeployments()
|
||
}
|
||
list := services.ListVisibleLogSources(c.GetUint("userId"), c.GetString("role") == "admin")
|
||
utils.Success(c, utils.PageData{List: list, Total: int64(len(list)), Page: 1, PageSize: 100})
|
||
}
|
||
|
||
func (ctrl *LogsController) CreateSource(c *gin.Context) {
|
||
var req dto.LogSourceRequest
|
||
if !utils.BindAndValidate(c, &req) {
|
||
return
|
||
}
|
||
if req.Name == "" || req.TargetType == "" {
|
||
utils.BadRequest(c, "名称与类型必填")
|
||
return
|
||
}
|
||
if err := services.ValidateSourceAccess(req.Access); err != nil {
|
||
utils.BadRequest(c, err.Error())
|
||
return
|
||
}
|
||
src := &models.LogSource{
|
||
Name: req.Name, TargetType: req.TargetType,
|
||
Namespace: req.Namespace, Service: req.Service, Port: req.Port,
|
||
URL: req.URL, AuthType: req.AuthType, BasicUser: req.BasicUser,
|
||
BasicPass: req.BasicPass, BearerToken: req.BearerToken, Headers: req.Headers, SkipTLSVerify: req.SkipTLSVerify, IsDefault: req.IsDefault, Access: req.Access,
|
||
}
|
||
if req.TargetType == "cluster-svc" {
|
||
if req.ClusterID > 0 {
|
||
id := req.ClusterID
|
||
src.ClusterID = &id
|
||
} else {
|
||
utils.BadRequest(c, "cluster-svc 类型必须选择集群")
|
||
return
|
||
}
|
||
}
|
||
created, err := services.CreateLogSource(src)
|
||
if err != nil {
|
||
utils.Error(c, 400, err.Error())
|
||
return
|
||
}
|
||
utils.Success(c, created.Sanitized())
|
||
}
|
||
|
||
func (ctrl *LogsController) UpdateSource(c *gin.Context) {
|
||
id, err := strconv.ParseUint(c.Param("id"), 10, 64)
|
||
if err != nil {
|
||
utils.BadRequest(c, "ID 无效")
|
||
return
|
||
}
|
||
var updates map[string]interface{}
|
||
if !utils.BindAndValidate(c, &updates) {
|
||
return
|
||
}
|
||
if src := services.GetLogSource(uint(id)); src != nil && src.Managed && updates["isDefault"] == nil {
|
||
utils.BadRequest(c, "平台部署的数据源由系统管理,不可编辑")
|
||
return
|
||
}
|
||
if err := services.UpdateLogSource(uint(id), updates); err != nil {
|
||
utils.Error(c, 400, err.Error())
|
||
return
|
||
}
|
||
utils.Success(c, gin.H{"message": "updated"})
|
||
}
|
||
|
||
func (ctrl *LogsController) DeleteSource(c *gin.Context) {
|
||
id, err := strconv.ParseUint(c.Param("id"), 10, 64)
|
||
if err != nil {
|
||
utils.BadRequest(c, "ID 无效")
|
||
return
|
||
}
|
||
if src := services.GetLogSource(uint(id)); src != nil && src.Managed {
|
||
utils.BadRequest(c, "平台部署的数据源随部署管理,请先删除对应部署")
|
||
return
|
||
}
|
||
if err := services.DeleteLogSource(uint(id)); err != nil {
|
||
utils.Error(c, 400, err.Error())
|
||
return
|
||
}
|
||
utils.Success(c, gin.H{"message": "deleted"})
|
||
}
|
||
|
||
// TestSource 数据源连通性测试(按 id 或表单参数)
|
||
func (ctrl *LogsController) TestSource(c *gin.Context) {
|
||
var req dto.LogSourceRequest
|
||
if !utils.BindAndValidate(c, &req) {
|
||
return
|
||
}
|
||
var src *models.LogSource
|
||
if req.ID > 0 {
|
||
src = services.GetLogSource(req.ID)
|
||
if src == nil {
|
||
utils.NotFound(c, "数据源不存在")
|
||
return
|
||
}
|
||
} else {
|
||
src = &models.LogSource{
|
||
TargetType: req.TargetType, Namespace: req.Namespace, Service: req.Service,
|
||
Port: req.Port, URL: req.URL, AuthType: req.AuthType,
|
||
BasicUser: req.BasicUser, BasicPass: req.BasicPass, BearerToken: req.BearerToken, Headers: req.Headers, SkipTLSVerify: req.SkipTLSVerify,
|
||
}
|
||
if req.TargetType == "cluster-svc" && req.ClusterID > 0 {
|
||
id := req.ClusterID
|
||
src.ClusterID = &id
|
||
}
|
||
}
|
||
utils.Success(c, services.TestLogSource(c.Request.Context(), src))
|
||
}
|
||
|
||
// ==================== 查询代理 ====================
|
||
|
||
func (ctrl *LogsController) Query(c *gin.Context) {
|
||
var req dto.LogQueryRequest
|
||
if !utils.BindAndValidate(c, &req) {
|
||
return
|
||
}
|
||
src := services.GetLogSource(req.SourceID)
|
||
if src == nil {
|
||
utils.BadRequest(c, "数据源不存在")
|
||
return
|
||
}
|
||
query, err := services.AuthorizedLogQuery(src, c.GetUint("userId"), c.GetString("role") == "admin", req.Query)
|
||
if err != nil {
|
||
utils.Forbidden(c, err.Error())
|
||
return
|
||
}
|
||
result, err := services.QueryLokiLogs(c.Request.Context(), src, query,
|
||
req.Start, req.End, req.Limit, req.Direction, req.Cursor)
|
||
if err != nil {
|
||
utils.Error(c, 502, err.Error())
|
||
return
|
||
}
|
||
utils.Success(c, result)
|
||
}
|
||
|
||
func (ctrl *LogsController) Labels(c *gin.Context) {
|
||
id, _ := strconv.ParseUint(c.Query("sourceId"), 10, 64)
|
||
src := services.GetLogSource(uint(id))
|
||
if src == nil {
|
||
utils.BadRequest(c, "数据源不存在")
|
||
return
|
||
}
|
||
if _, err := services.AuthorizedLogQuery(src, c.GetUint("userId"), c.GetString("role") == "admin", "{}"); err != nil {
|
||
utils.Forbidden(c, err.Error())
|
||
return
|
||
}
|
||
start, _ := strconv.ParseInt(c.Query("start"), 10, 64)
|
||
end, _ := strconv.ParseInt(c.Query("end"), 10, 64)
|
||
labels, err := services.LokiLabels(c.Request.Context(), src, start, end)
|
||
if err != nil {
|
||
utils.Error(c, 502, err.Error())
|
||
return
|
||
}
|
||
utils.Success(c, labels)
|
||
}
|
||
|
||
func (ctrl *LogsController) LabelValues(c *gin.Context) {
|
||
id, _ := strconv.ParseUint(c.Query("sourceId"), 10, 64)
|
||
src := services.GetLogSource(uint(id))
|
||
if src == nil {
|
||
utils.BadRequest(c, "数据源不存在")
|
||
return
|
||
}
|
||
start, _ := strconv.ParseInt(c.Query("start"), 10, 64)
|
||
end, _ := strconv.ParseInt(c.Query("end"), 10, 64)
|
||
requestedQuery := c.Query("query")
|
||
if strings.TrimSpace(requestedQuery) == "" {
|
||
requestedQuery = "{}"
|
||
}
|
||
query, err := services.AuthorizedLogQuery(src, c.GetUint("userId"), c.GetString("role") == "admin", requestedQuery)
|
||
if err != nil {
|
||
utils.Forbidden(c, err.Error())
|
||
return
|
||
}
|
||
values, err := services.LokiLabelValues(c.Request.Context(), src,
|
||
c.Param("name"), query, start, end)
|
||
if err != nil {
|
||
utils.Error(c, 502, err.Error())
|
||
return
|
||
}
|
||
utils.Success(c, values)
|
||
}
|
||
|
||
// MyScope 返回当前登录用户在某数据源上的授权范围。
|
||
//
|
||
// 快捷 LogQL 用它做两件事：
|
||
// 1. 把授权策略里配置的 namespace 作为默认选中值（管理员配了 default/astralx 后开箱即用）
|
||
// 2. 把该值合并进 namespace 候选列表 —— 否则像 default 这种「策略里有、Loki 里没日志」
|
||
// 的命名空间不会出现在下拉里，用户会以为策略没生效
|
||
func (ctrl *LogsController) MyScope(c *gin.Context) {
|
||
id, _ := strconv.ParseUint(c.Query("sourceId"), 10, 64)
|
||
src := services.GetLogSource(uint(id))
|
||
if src == nil {
|
||
utils.BadRequest(c, "数据源不存在")
|
||
return
|
||
}
|
||
if c.GetString("role") == "admin" {
|
||
// 管理员的查询范围不受策略限制（unrestricted=true），
|
||
// 但仍返回策略里的 labels 作为快捷 LogQL 的默认选中值——
|
||
// 否则管理员在小黑框里看到的下拉永远没有策略配的那个 namespace，
|
||
// 会误以为「默认策略没生效」。
|
||
labels := services.UserAccessLabels(src, c.GetUint("userId"))
|
||
if labels == nil {
|
||
labels = map[string]string{}
|
||
}
|
||
utils.Success(c, gin.H{"labels": labels, "unrestricted": true})
|
||
return
|
||
}
|
||
labels := services.UserAccessLabels(src, c.GetUint("userId"))
|
||
if labels == nil {
|
||
utils.Forbidden(c, "无权查询此数据源")
|
||
return
|
||
}
|
||
utils.Success(c, gin.H{"labels": labels, "unrestricted": len(labels) == 0})
|
||
}
|
||
|
||
// Health Loki /ready 探活(查询页状态点)
|
||
func (ctrl *LogsController) Health(c *gin.Context) {
|
||
id, _ := strconv.ParseUint(c.Query("sourceId"), 10, 64)
|
||
src := services.GetLogSource(uint(id))
|
||
if src == nil {
|
||
utils.BadRequest(c, "数据源不存在")
|
||
return
|
||
}
|
||
if _, err := services.AuthorizedLogQuery(src, c.GetUint("userId"), c.GetString("role") == "admin", "{}"); err != nil {
|
||
utils.Forbidden(c, err.Error())
|
||
return
|
||
}
|
||
ctx, cancel := context.WithTimeout(c.Request.Context(), 15*time.Second)
|
||
defer cancel()
|
||
utils.Success(c, gin.H{"ready": services.LokiReady(ctx, src)})
|
||
}
|
||
|
||
// DailyVolume 每日日志量历史（平台留存，不受 Loki retention 限制）。
|
||
//
|
||
// query: sourceId, days（默认 7，最长 400）
|
||
func (ctrl *LogsController) DailyVolume(c *gin.Context) {
|
||
sourceID, _ := strconv.Atoi(c.Query("sourceId"))
|
||
if sourceID <= 0 {
|
||
utils.BadRequest(c, "缺少 sourceId")
|
||
return
|
||
}
|
||
days, _ := strconv.Atoi(c.Query("days"))
|
||
if days <= 0 {
|
||
days = 7
|
||
}
|
||
utils.Success(c, services.GetDailyVolumeHistory(uint(sourceID), days))
|
||
}
|
||
|
||
// Stats 返回该查询在时间范围内的「总条数/字节/块数」，用于前端展示总页数。
|
||
// 走 index/stats（只读索引），成本远低于真数日志。
|
||
func (ctrl *LogsController) Stats(c *gin.Context) {
|
||
var req dto.LogQueryRequest
|
||
if !utils.BindAndValidate(c, &req) {
|
||
return
|
||
}
|
||
src := services.GetLogSource(req.SourceID)
|
||
if src == nil {
|
||
utils.BadRequest(c, "数据源不存在")
|
||
return
|
||
}
|
||
query, err := services.AuthorizedLogQuery(src, c.GetUint("userId"), c.GetString("role") == "admin", req.Query)
|
||
if err != nil {
|
||
utils.Forbidden(c, err.Error())
|
||
return
|
||
}
|
||
st, err := services.LokiStatsFor(c.Request.Context(), src, query, req.Start, req.End)
|
||
if err != nil {
|
||
utils.Error(c, 502, err.Error())
|
||
return
|
||
}
|
||
utils.Success(c, st)
|
||
}
|
||
|
||
func (ctrl *LogsController) Histogram(c *gin.Context) {
|
||
var req dto.LogQueryRequest
|
||
if !utils.BindAndValidate(c, &req) {
|
||
return
|
||
}
|
||
src := services.GetLogSource(req.SourceID)
|
||
if src == nil {
|
||
utils.BadRequest(c, "数据源不存在")
|
||
return
|
||
}
|
||
query, err := services.AuthorizedLogQuery(src, c.GetUint("userId"), c.GetString("role") == "admin", req.Query)
|
||
if err != nil {
|
||
utils.Forbidden(c, err.Error())
|
||
return
|
||
}
|
||
buckets, err := services.LokiHistogram(c.Request.Context(), src, query, req.Start, req.End)
|
||
if err != nil {
|
||
switch {
|
||
case errors.Is(err, services.ErrTooManyQueries):
|
||
// 429：并发重查询超限，让前端提示"稍后重试"，而不是当成服务故障
|
||
utils.Error(c, http.StatusTooManyRequests, err.Error())
|
||
case strings.Contains(err.Error(), "统计范围过大"):
|
||
utils.Error(c, http.StatusBadRequest, err.Error())
|
||
default:
|
||
utils.Error(c, 502, err.Error())
|
||
}
|
||
return
|
||
}
|
||
utils.Success(c, buckets)
|
||
}
|
||
|
||
// Metrics 日志分析指标查询(仅 admin,路由层 AdminAuth 拦截)
|
||
func (ctrl *LogsController) Metrics(c *gin.Context) {
|
||
var req dto.LogMetricQueryRequest
|
||
if !utils.BindAndValidate(c, &req) {
|
||
return
|
||
}
|
||
src := services.GetLogSource(req.SourceID)
|
||
if src == nil {
|
||
utils.BadRequest(c, "数据源不存在")
|
||
return
|
||
}
|
||
query, err := services.AuthorizedLogQuery(src, c.GetUint("userId"), c.GetString("role") == "admin", req.Query)
|
||
if err != nil {
|
||
utils.Forbidden(c, err.Error())
|
||
return
|
||
}
|
||
series, err := services.LokiMetrics(c.Request.Context(), src, query, req.Start, req.End)
|
||
if err != nil {
|
||
utils.Error(c, 502, err.Error())
|
||
return
|
||
}
|
||
utils.Success(c, series)
|
||
}
|