Files
LokiStack/backend/controllers/ai.go
T
opsx 7be41f0a6b
CI / Backend (go vet + test) (push) Waiting to run
CI / Frontend (lint + build + test) (push) Waiting to run
feat(aiops): 新增「智能运维」——AI 日志分析(P0,不扫日志内容)
=== 为什么这样设计(成本优先)===
全集群 370GB/天,把日志原文丢给模型是不可能的(一次几百万 token)。
所以整条链路只做一件事:**把 GB 级日志压成 KB 级信号**。

P0 的信号来源全部是索引/快照,**零日志内容扫描**:
  体积 + 趋势   → index/volume_range(实测 24h 仅 54ms)
  条数/流数     → index/stats,且只在 ≤2 小时窗口用
                  (全天 index/stats 实测 20s,绝不能进 AI 路径)
  应用排行      → 平台小时级预聚合快照(毫秒)
  基线对比      → 上一个等长窗口的 volume_range
  告警          → 平台投递记录
实测一次分析:3~6 秒、输入 600~1400 tokens(约 ¥0.005/次)。

=== 后端 ===
models/ai.go            AIConfig(APIKey 加密存储)+ AIAnalysisRun(审计)
services/ai_config.go   读写配置、掩码返回、每日 token 用量统计
services/ai_provider.go OpenAI 兼容客户端 + 连通性测试
                        (DeepSeek/通义/内网 vLLM/Ollama 通用)
services/ai_redact.go   脱敏:凭据/邮箱/手机号/身份证 → 占位符,
                        **保留内网 IP 与端口**(排查必需)
services/ai_signal.go   信号采集 + 渲染成紧凑文本(省 token)
services/ai_analyze.go  结构化输出解析、配额闸门、审计落库
controllers/ai.go       /ai/config /ai/config/test /ai/analyze /ai/runs

成本闸门(三层):
  1) 单次:时间范围 ≤24h、maxTokens ≤1500
  2) 每用户每日 token 上限(默认 50 万,可配,超限直接拒绝并说明)
  3) 审计只留最近 500 条,避免表膨胀

=== 前端 ===
新页面 /aiops(侧栏「智能运维」,管理员),页内单层 tab:
  日志分析 / 模型配置 / 分析历史
- 分析:数据源 + 时间预设(15m/1h/6h/24h) + 可选提问 → 结论/证据/建议/不确定 四区
       顶部显示本次消耗(in/out tokens、耗时),可查看「发给模型的完整内容」
- 配置:启用开关、Base URL、模型、API Key(掩码)、温度、输出上限、超时、
       每日配额、额外脱敏正则;按钮顺序改为「测试连接 → 保存配置」
- 历史:服务端分页(20/页),点行看详情与 payload

=== 两个真实踩坑(已修)===
1) 密码含 @ 导致脱敏漏掉(mysql://user:P@ssw0rd@host)
   → URL basic-auth 规则改为贪婪匹配到最后一个 @,由单测锁定
2) 结论里的时间是 UTC(容器无 tzdata,time.Local=UTC),
   模型写"凌晨 6 点下跌"而运维当时是下午 2 点
   → 显式用东八区展示(LOKISTACK_DISPLAY_TZ=UTC 可覆盖)

=== 实测(69147008fcf4)===
  配置保存 → key 掩码 sk-***e286;连通性测试返回「正常」
  分析 15 分钟窗口:4.1s,结论识别出"窗口末段体积断崖约 -60%"
  信号时间 14:23~14:38(本地时间正确)
  历史分页 total=3,tokens/耗时字段完整
  单测:脱敏 2 个用例 + 模型输出解析 4 个用例 + 6 条 AI 路由断言
2026-10-31 06:39:01 +00:00

150 lines
4.1 KiB
Go

package controllers
import (
"fmt"
"strconv"
"time"
"lokistack/models"
"lokistack/services"
"lokistack/utils"
"github.com/gin-gonic/gin"
)
// AIController AIOps:模型配置 + 日志分析 + 审计历史
type AIController struct{}
func NewAIController() *AIController { return &AIController{} }
// GetConfig 返回模型配置(APIKey 掩码)+ 今日已用 token。
func (ctrl *AIController) GetConfig(c *gin.Context) {
userID := c.GetUint("userId")
cfg := services.MaskedAIConfig()
utils.Success(c, gin.H{
"config": cfg,
"tokenUsedToday": services.AITokenUsedToday(userID),
})
}
// SaveConfig 保存模型配置。apiKey 传空或掩码 = 沿用旧值。
func (ctrl *AIController) SaveConfig(c *gin.Context) {
var req struct {
models.AIConfig
APIKey string `json:"apiKey"`
}
if !utils.BindAndValidate(c, &req) {
return
}
if err := services.SaveAIConfig(req.AIConfig, req.APIKey); err != nil {
utils.Error(c, 400, err.Error())
return
}
utils.Success(c, gin.H{"config": services.MaskedAIConfig()})
}
// TestConfig 连通性测试:用已保存(或本次提交)的配置发一句最小请求。
func (ctrl *AIController) TestConfig(c *gin.Context) {
var req struct {
APIKey string `json:"apiKey"`
BaseURL string `json:"baseUrl"`
Model string `json:"model"`
}
_ = c.ShouldBindJSON(&req)
cfg := services.GetAIConfig()
if req.BaseURL != "" {
cfg.BaseURL = req.BaseURL
}
if req.Model != "" {
cfg.Model = req.Model
}
// 传了新的 key 就用新的(掩码/空则沿用已保存的)
if req.APIKey != "" && !containsMask(req.APIKey) {
cfg.APIKey = req.APIKey
}
reply, err := services.TestAIConnection(cfg)
if err != nil {
utils.Error(c, 400, err.Error())
return
}
utils.Success(c, gin.H{"reply": reply, "model": cfg.Model})
}
func containsMask(s string) bool {
for i := 0; i+2 < len(s); i++ {
if s[i] == '*' && s[i+1] == '*' && s[i+2] == '*' {
return true
}
}
return false
}
// Analyze 执行一次日志分析。
//
// 时间范围在服务端收敛:最大 24 小时。理由不是性能(P0 全走索引,很快),
// 而是"范围越大,信号越笼统,结论越没用",且 token 会线性增长。
func (ctrl *AIController) Analyze(c *gin.Context) {
var req struct {
SourceID uint `json:"sourceId" binding:"required"`
Start int64 `json:"start" binding:"required"`
End int64 `json:"end" binding:"required"`
Question string `json:"question"`
}
if !utils.BindAndValidate(c, &req) {
return
}
src := services.GetLogSource(req.SourceID)
if src == nil {
utils.BadRequest(c, "数据源不存在")
return
}
from := time.Unix(0, req.Start)
to := time.Unix(0, req.End)
if !to.After(from) {
utils.BadRequest(c, "时间范围无效:结束时间必须晚于开始时间")
return
}
if to.Sub(from) > 24*time.Hour {
utils.BadRequest(c, fmt.Sprintf("时间范围过大(%d 分钟):AI 分析最多支持 24 小时,建议用 15~60 分钟", int(to.Sub(from).Minutes())))
return
}
userID := c.GetUint("userId")
username := c.GetString("username")
admin := c.GetString("role") == "admin"
cfg := services.GetAIConfig()
outcome, err := services.RunAIAnalysis(c.Request.Context(), cfg, src, userID, username, admin, from, to, req.Question)
if err != nil {
// 未配置模型 / 配额用尽 / 上游报错:都给出具体原因,不包装成 500
utils.Error(c, 400, err.Error())
return
}
utils.Success(c, outcome)
}
// ListRuns 审计历史(分页)。
func (ctrl *AIController) ListRuns(c *gin.Context) {
page, _ := strconv.Atoi(c.DefaultQuery("page", "1"))
pageSize, _ := strconv.Atoi(c.DefaultQuery("pageSize", "20"))
runs, total := services.ListAIRuns(page, pageSize)
utils.Success(c, gin.H{"list": runs, "total": total, "page": page, "pageSize": pageSize})
}
// GetRun 单条审计详情(含脱敏后的完整 payload)。
func (ctrl *AIController) GetRun(c *gin.Context) {
id, err := utils.IntParam(c, "id")
if err != nil {
utils.BadRequest(c, "ID 无效")
return
}
run := services.GetAIRun(uint(id))
if run == nil {
utils.Error(c, 404, "记录不存在")
return
}
utils.Success(c, run)
}