rlwj-lab/aiops
0
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
510 Commits 1 Branch 0 Tags
4010b4fd70fc3a96eae774a0c790c905e297bbb1
Commit Graph
23 Commits
Author SHA1 Message Date
Logan.Li 59320aa410 perf: 修复 Agent 校验 CPU 热点并实现指标分层聚合与频率下发 
CPU 根因：每个 Agent 请求都做一次 bcrypt 校验（实测 72ms），
30 台主机 18 req/s × 72ms ≈ 1.35 核，实测容器 CPU 135%。

- agentauth: 校验结果按 Token 哈希缓存（TTL 5min，轮换即失效），
  last_used_at 写入按 60s 节流。实测 CPU 135% → 1.6%，请求延迟 103ms → 1.6ms
- metricagg: 新增后台逐级降采样聚合 raw→1m/5m→1h→6h/1d，取代前端手动触发
- metrics_aggregate: 补 uniq_metric_agg 唯一索引（原 idx_agg 非唯一导致 upsert 插重复行）
- agent 合并配置接口 GET /agent/config：一次返回任务+探针+端口策略+频率，
  配置轮询 5s→30s；服务端可下发 report_interval，Agent 热更新 ticker 无需重装
- retention: agent_reports 保留期 7d→1d（趋势由聚合表承担）
- redis: 增加 maxmemory 512mb + volatile-lru
- fix(upgrade): 升级脚本改为 fail-fast，修复下载失败仍报 UPGRADE_OK 的静默谎报

// Logan.Li
 2026-09-14 08:23:31 +00:00
attacker c624ca5b4a feat(ops): U4 后端镜像瘦身 282MB→107MB (62%降幅) 
- 移除 git/docker-cli/docker-cli-buildx (~100MB) 改为懒加载
- PipelineHandler 注入 ToolInstaller, runCheckout/runImageBuild 调 EnsureAvailable
- UpgradeTools 自动升级 DB 中 git/docker-cli preinstall→lazy
- 仅内置 linux-amd64 agent (~12MB节省), arm64/darwin 通过下载API
- kubectl 改用 install-kubectl.sh 下载 stripped 版本
- .dockerignore 排除 backend/kubectl 60MB 二进制
- Dockerfile.embed + backend/Dockerfile 同步更新
- 17/17 集成测试通过
 2026-06-27 14:28:09 +08:00
Logan.Li 5ca0e6d83a fix(docker): Alpine apk 镜像源 403 时自动回退阿里云/官方 
- 新增 scripts/setup-alpine-mirrors.sh 探测可用镜像
- 移除硬编码清华源，runtime 固定 alpine:3.20 避免 latest 漂移
 2026-06-26 19:12:38 +08:00
Logan.Li 9215cd9b8c fix(docker): 构建时按 TARGETARCH 下载 kubectl，移除 backend/kubectl 依赖 
- 新增 scripts/install-kubectl.sh，支持 linux amd64/arm64
- Dockerfile.embed 后端 CGO 编译跟随 TARGETARCH，修复 Mac ARM 构建失败
- backend/Dockerfile 同步改为构建时下载 kubectl
 2026-06-26 19:06:57 +08:00
attacker 77c234b060 feat(audit): F1+F2 告警静默规则标记完成 + 审计日志CSV导出实现 
F1 告警静默规则 [done]:
- 后端 alert_silence.go: CRUD + Toggle (onetime/daily/weekly 三模式)
- 告警引擎 isSilenced 集成 (alert_engine.go)
- 前端 SilenceRuleTab + SilenceDialog
- 路由 /alerts/silences 已注册

F2 审计日志导出 [done]:
- 重写 ExportAuditLogs: 真正的 CSV 导出 (encoding/csv + UTF-8 BOM)
- 支持 module/action/username/startTime/endTime 筛选
- 导出限制 10000 条防溢出，自动记录审计日志
- JSON 格式向后兼容 (format=json)
- 前端 exportLogs 传递查询参数

同时包含累积的前期工作:
- 目录重构 internal/ -> controller/model/router (v0.55-v0.57)
- 后端分层架构 dto/repository/service/utils
- 审计模块全功能 (终端审计/操作审计/登录日志)
- asciicast v2 录制格式
- SFTP 文件浏览器
- StatStrip 紧凑统计条
- 在线会话自动刷新
- LiveMonitor WebSocket 诊断修复

验证: go build ✅ | npm run build ✅ | Docker 部署 ✅ | 10 回归端点 ✅ | CSV 导出 ✅ | 静默 CRUD ✅
 2026-06-25 20:16:30 +08:00
attacker 2c170589c6 fix(agent): Dockerfile agent-builder 缺少 ARG VERSION 导致 agent.version 为空 2026-06-24 14:07:13 +00:00
attacker 60934277ac fix: kubectl本地打包避docker下载超时; Service关联用spec.selector而非metadata.labels; 数据源兼容SvcSummary/IngSummary格式 2026-06-23 02:37:33 +00:00
attacker 451f65f9c8 feat: 路由改名/kubectl预装/导出YAML精简/Service标签页优化/Alpine镜像源换清华 
- 路由 /deploy/credentials → /deploy/configureTools
- kubectl 改为预装(Dockerfile) + 种子数据 preinstall
- 导出YAML精简: Service/Ingress/Deployment 全面清理运行时字段
- DeploymentEditService 只显示匹配 selector 的关联 Service
- Alpine 镜像源 mirrors.aliyun.com → mirrors.tuna.tsinghua.edu.cn
 2026-06-23 02:22:52 +00:00
attacker 9ab7572b8e feat(k8s): M3 Pod文件上传 + ExecInPod WebSocket协议重写 
M3: Pod 文件上传
- 后端: POST .../pods/:pod/files/upload (multipart, base64分块exec写入)
- 前端: PodFileBrowser 增加上传按钮 + FormData API
- 路由: 新增 Kuboard (:clusterCode) + 旧 (:id) 两套路由

重大修复: ExecInPod 从 raw HTTP SPDY 改为 WebSocket channel.k8s.io
- 旧方案: HTTP POST + SPDY upgrade → 无法解析响应（协议头缺失 + 帧解析复杂）
- 新方案: gorilla/websocket Dialer + channel.k8s.io 子协议 → 和 ExecTerminal 一致
- 影响: 文件浏览/下载/上传全部恢复正常

修复: BusyBox ls 解析
- BusyBox 不支持 --time-style 参数，默认输出 Mon DD HH:MM 格式
- 解析器改为自动检测 GNU vs BusyBox 日期格式
 2026-06-23 02:21:29 +08:00
attacker 4f1ffd1275 feat(k8s): M2 Pod Metrics 详情页接入 — ListPods 注入 metrics 
后端:
- 新增 buildPodMetricsMap() 公共辅助函数，聚合多容器 CPU/Memory
- ListPods / listPodsWithNS / ListPodsAllNS 三个 handler 全部注入
- PodSummary 增加 cpu_usage_m / mem_usage_mi 字段

前端:
- KubernetesWorkloads Pod 表格增加 CPU/内存列
- NamespaceResourcePage Pod 表格增加 CPU/内存列

验证:
- 17 个 Pod 全部返回真实 metrics (argocd/demo-jar)
- curl /kubernetes-clusters/1/pods → cpu_usage_m='2m' mem_usage_mi='61Mi'

文档:
- ROADMAP M1→done, M2→done, 验收标准全部勾选
- TDD_PLAN M2 通过标准补充
- PROJECT_EVALUATION P0 缺失项移除
 2026-06-23 00:54:54 +08:00
attacker 8c272a6fa6 perf: BuildKit cache mount 加速 Docker 构建 
优化:
- Dockerfile 加 # syntax=docker/dockerfile:1 启用 BuildKit frontend
- go mod download / go build 加 --mount=type=cache (GOMODCACHE + GOCACHE)
- apk add 加 --mount=type=cache=/var/cache/apk
- alpine:latest → alpine:3.20 固定版本（避免 :latest 变动导致全量 cache miss）
- run.sh 加 DOCKER_BUILDKIT=1 + COMPOSE_DOCKER_CLI_BUILD=1

效果:
- 首次构建不变（需填充缓存）
- 第二次起: go build 增量编译（仅重编译改动包），apk 从缓存恢复
- 预估: 13分钟 → 2分钟
 2026-06-21 21:55:03 +08:00
attacker 24f955832e feat: 发布权限 RBAC + PipelineEditor 修复 + 菜单优化 
- 新增 DeployRBAC 页面: Jenkins-style Item Role 权限管理
  - 正则匹配流水线 code，实时命中预览
  - 内置用户分配面板，无需跳转系统管理
  - 支持创建/编辑/删除/启用禁用 Item Role
- 修复 PipelineEditor 成员管理 http 双解包 bug
- 修复 PipelineManager 前端 code 路由迁移(delete/trigger/stop/loadRuns)
- 新增批量删除流水线运行记录 API
- Sidebar: 应用发布下新增「发布权限」, 仓库认证→发布配置, 移除用户组
- 恢复系统管理菜单(不受发布权限改动影响)
- 后端 ItemRole CRUD handler + 正则匹配中间件已就绪
 2026-06-21 05:26:01 +00:00
Logan 2d02d63806 feat: 定时任务关联脚本库 + 脚本库精简为shell/python 
定时任务:
- 执行类型改为 Shell脚本/Python脚本/自定义命令 三选一
- Shell/Python 类型下拉关联脚本库, 选择后预览脚本内容
- 卡片显示关联脚本名 (Preload Script 已就绪)
- 去掉 playbook 类型

脚本库:
- 去掉 powershell/yaml, 只保留 shell + python
- 后端 validation 同步 oneof=shell python

涉及文件:
- script-helpers.tsx: scriptTypes 去掉 powershell/yaml
- CronJobFormDialog.tsx: 完整重写, 脚本库下拉+预览
- CronJobManager.tsx: type 标签对齐, 脚本名展示
- automation.go: CronJob type oneof 改 shell/python/command
                Script type oneof 改 shell/python
 2026-06-19 21:46:56 +08:00
attacker a3cd0d3910 feat: PTY kubectl终端 + 侧边栏对齐修复 + 构建缓存清理 
**kubectl WebShell 修复：**
- 引入 github.com/creack/pty 库实现真正的伪终端
- 替换 bash --noediting + TERM=dumb 方案为 PTY-backed bash
- 支持 xterm-256color、窗口自适应、readline 交互
- 修复键盘输入无响应问题

**侧边栏优化：**
- 独立菜单项高度从 py-1.5 改为 h-8，与父菜单对齐
- 独立菜单图标从 h-3 w-3 改为 h-3.5 w-3.5，统一 14px

**构建优化：**
- run.sh docker up 增加 docker image prune -f 清理悬空镜像
- 每次部署自动清理 builder cache + dangling images

**认证修复（历史）：**
- Token 存储：Zustand + localStorage 双写，http.ts 双源 fallback
- YamlViewer/DeploymentDetail token 来源统一为 Zustand store
 2026-06-19 11:22:45 +00:00
attacker ed08ea255e feat: Agent批量升级 + 版本号注入 + 服务器凭证下拉关联 
- Dockerfile: ARG VERSION/BUILD_TIME 通过 ldflags 注入 agent+backend 二进制
- run.sh: 自动从 git tag 获取版本号
- docker-compose: build args 传递 VERSION/BUILD_TIME
- backend: BatchUpgradeAgent SSH下载新二进制+重启, /agent/bin 静态文件服务
- frontend: 监控大屏添加批量升级按钮 (闪电图标)
- frontend: 服务器编辑/添加表单改为凭证下拉选择器
- frontend: ServerForm 加载 /credentials 列表, 选择后自动填充用户名/认证方式
 2026-06-19 01:24:47 +00:00
attacker 31c2e338a3 refactor: 后端二进制重命名 ezops → aiops 2026-06-19 00:45:21 +00:00
attacker 24fa17c2a8 feat: 监控架构优化 — 模型层 + Prometheus/Zabbix/SNMP pkg + Dockerfile升级Go1.24 
整合 /srv/监控架构优化方案 核心代码：

后端模型（4个新文件）：
- monitor.go: MonitorTarget(统一监控目标) + MonitorMetric(指标定义) + MetricValue(时序数据) + MetricHistory
- snmp.go: SNMPDevice + SNMPTemplate + OID模板管理
- site.go: SiteTask(拨测任务) + SiteResult(拨测结果)
- alert_v2.go: 增强告警(多条件规则/模板/升级策略/静默)

后端 pkg（3个包）：
- pkg/prometheus/client.go (531行): PromQL查询/Range/Labels/Rules
- pkg/zabbix/client.go: Zabbix API (Host/Item/Trigger/History)
- pkg/snmp/collector.go (621行): gosnmp Walk/BulkWalk/自动发现

基础设施：
- Dockerfile: Go 1.21→1.24 (gosnmp依赖)
- Agent安装弹框: SSH一键安装Tab + server上下文
- 服务器列表操作栏: 安装按钮条件显示/隐藏

Handler层因类型不兼容暂时跳过，模型和客户端包已编译通过。
 2026-06-18 11:52:10 +00:00
attacker 3dec5eec2a fix: 合并冲突后重写 Dockerfile (3阶段构建 + alpine mirror + GOTOOLCHAIN) 2026-06-18 03:38:22 +00:00
attacker 3a0f5ddb52 fix: 清理冲突合并产生的行号前缀 2026-06-18 03:37:22 +00:00
attacker 2354959811 feat: run.sh四模式(dev/docker/build/binary) + CLI flags + Redka内嵌Redis + Agent复制修复 + 服务器编辑IP字段 + 安装Agent按钮 2026-06-18 03:36:04 +00:00
Logan d0b94d39c0 fix: agent install.sh 404 + 三阶段构建编译agent二进制 
问题: 构建上下文 ./backend 无法访问 ../agent, 导致容器内
/app/agent/deploy/install.sh 不存在, 返回 404

修复:
- Dockerfile 改为三阶段构建 (backend go1.21 + agent go1.24 交叉编译 + alpine runtime)
- docker-compose backend build context 改为项目根
- routes.go /agent/arch 安装命令改为动态获取 URL
- 新增 .dockerignore
- agent_install.go: SSH 远程安装 handler
- AgentWizard.tsx: 复制按钮 fallback + 动态 server URL
- ServerTableRow.tsx: agent 状态判断

验证: curl|bash 安装成功, agent 上报数据到 MySQL ✅
 2026-06-18 09:44:12 +08:00
Logan d0344c2f52 feat: Docker部署 + 云主机导入 + 终端优化 
Docker 部署:
- 新增根目录 docker-compose.yml（MySQL+Redis+前后端四容器）
- 新增 frontend/Dockerfile（多阶段构建）和 nginx.conf（SPA+API反代）
- 修复 backend/Dockerfile：GOPROXY国内加速、编译整个cmd包

云主机导入功能:
- 新增 backend/internal/cloud 包：Provider接口 + 阿里云API客户端
- 新增 cloud_sync.go：区域同步/主机发现/导入 API
- 重写 CloudServerImport.tsx：4步流程（选云→选账号→选区域→发现导入）
- 修复导入外键约束失败（region_id/cloud_id 设为 NULL）

终端优化:
- 修复双X关闭按钮重影（showCloseButton=false）
- 修复最大化→最小化不恢复（ResizeObserver + 禁用CSS过渡）

其他:
- GORM AutoMigrate 逐表迁移，避免索引冲突阻塞启动
- Makefile 更新为 AIOps + 新增 docker 命令组
- .env.example 移至 backend 目录
 2026-06-18 09:22:13 +08:00
attacker 7d6674bddd init: EZOps AIOps 智能运维平台 
- 前端: React 18 + TypeScript + Vite + Tailwind CSS + shadcn/ui
- 后端: Go + Gin + GORM + JWT (golang-jwt/jwt/v5)
- 功能: 服务器管理、K8s集群、监控告警、CI/CD、自动化运维、审批流程、审计日志
- 文档: 设计文档(ROADMAP/PDD/架构/模块)
 2026-06-13 23:09:47 +08:00