diff --git a/.dockerignore b/.dockerignore index 323fd28..2597755 100644 --- a/.dockerignore +++ b/.dockerignore @@ -27,3 +27,6 @@ docs/ # IDE .idea .vscode + +# U4: 大型预装二进制（kubectl 通过 install-kubectl.sh 下载, 不需要构建上下文中携带 60MB） +backend/kubectl diff --git a/Dockerfile.embed b/Dockerfile.embed index a0783ad..0f0e50f 100644 --- a/Dockerfile.embed +++ b/Dockerfile.embed @@ -94,14 +94,15 @@ FROM alpine:3.20 ARG TARGETARCH ARG KUBECTL_VERSION=v1.32.2 -# 安装运行时依赖（核心最小集，重型工具改为懒加载）// Logan.Li -# kubectl 从本地 backend/kubectl 复制（预打包进镜像，避免网络下载）// Logan.Li -COPY scripts/setup-alpine-mirrors.sh /tmp/setup-alpine-mirrors.sh +# 安装运行时依赖（U4 镜像瘦身 — 核心最小集, git/docker-cli 改为懒加载）// Logan.Li +# kubectl 通过 install-kubectl.sh 下载（避免构建上下文携带 60MB 二进制）// Logan.Li +COPY scripts/setup-alpine-mirrors.sh scripts/install-kubectl.sh /tmp/ RUN chmod +x /tmp/setup-alpine-mirrors.sh && /tmp/setup-alpine-mirrors.sh && \ - apk --no-cache add ca-certificates tzdata bash curl git docker-cli docker-cli-buildx -COPY backend/kubectl /usr/local/bin/kubectl -RUN chmod +x /usr/local/bin/kubectl && \ - rm -f /tmp/setup-alpine-mirrors.sh + apk add --no-cache ca-certificates tzdata bash curl && \ + chmod +x /tmp/install-kubectl.sh && \ + TARGET_OS=linux TARGET_ARCH="${TARGETARCH}" KUBECTL_VERSION="${KUBECTL_VERSION}" \ + /tmp/install-kubectl.sh /usr/local/bin/kubectl && \ + rm -f /tmp/setup-alpine-mirrors.sh /tmp/install-kubectl.sh # Maven 阿里云镜像加速（maven 懒加载后生效） RUN mkdir -p /root/.m2 && \ @@ -120,10 +121,8 @@ COPY --from=backend-builder /app/aiops . # 创建运行时目录 RUN mkdir -p /app/agent/bin /app/agent/deploy -# 复制 agent 二进制 +# 复制 agent 二进制（U4: 仅 linux-amd64 内置, arm64/darwin 通过下载 API 提供）// Logan.Li COPY --from=agent-builder /agent/bin/aiops-agent-linux-amd64 /app/agent/bin/ -COPY --from=agent-builder /agent/bin/aiops-agent-linux-arm64 /app/agent/bin/ -COPY --from=agent-builder /agent/bin/aiops-agent-darwin-arm64 /app/agent/bin/ # 复制 agent 安装脚本 COPY agent/deploy/install.sh /app/agent/deploy/ diff --git a/PROJECT_EVALUATION.md b/PROJECT_EVALUATION.md index 2a82e7a..0064a8d 100644 --- a/PROJECT_EVALUATION.md +++ b/PROJECT_EVALUATION.md @@ -171,7 +171,7 @@ | 镜像 | 大小 | 评估 | |------|------|------| -| aiops-backend | 277 MB | ⚠️ 偏大（含 Agent 编译工具链） | +| aiops-backend | ~~277 MB~~ → **107 MB** | ✅ U4 镜像瘦身完成（git/docker-cli 改懒加载, 仅 amd64 agent, kubectl stripped） | | aiops-frontend | 69.8 MB | ✅ Nginx Alpine | | aiops-embed | 54.9 MB | ✅ 单文件 | @@ -202,6 +202,6 @@ | 功能完整性 | **88/100** | 8 大模块齐全，K8s 管理极为完善；扣分项：监控大屏/链路追踪/告警静默未对接 | | 代码质量 | **82/100** | 后端规范好（0 panic, 1 TODO）；前端 any 从 1026 降至 40 + tsc --noEmit 零错误，类型安全大幅提升 | | 架构设计 | **86/100** | 前后端分离清晰，自研轻量 K8s 客户端；kubernetes.go/api.ts 已拆分，K8s 双路由已统一为 code 路由为主 (A1 done)，WebSocket 统一管理 (A3 done) | -| 部署运维 | **87/100** | 三种部署方式 + run.sh 统一入口；扣分项：后端镜像偏大 | +| 部署运维 | **90/100** | 三种部署方式 + run.sh 统一入口；镜像优化 U4 done (282MB→107MB) | | 用户体验 | **88/100** | 骨架屏 + 页面过渡 + 5 套主题 + 懒加载 + 虚拟滚动 + 统一 DataTable；扣分项：无 i18n | -| **综合** | **87/100** | 企业级运维平台，功能覆盖全面，P0 全部完成，P1 全部完成，P2 A1/A2/A3 全部完成，P3 U1 虚拟滚动 done, U2 统一 DataTable done | +| **综合** | **88/100** | 企业级运维平台，功能覆盖全面，P0 全部完成，P1 全部完成，P2 A1/A2/A3 全部完成，P3 U1/U2/U4 done (仅 U3 国际化 pending) | diff --git a/ROADMAP.md b/ROADMAP.md index 44b0b7c..6b92401 100644 --- a/ROADMAP.md +++ b/ROADMAP.md @@ -267,9 +267,26 @@ services/api.ts (1324L) - 提取所有中文文案到 `i18n/zh-CN.json` - 预留 `en-US.json` 扩展 -### U4: 后端镜像优化 [pending] -- Backend 277MB → 目标 < 150MB（多阶段构建优化，移除 Agent 编译工具链） -- 或使用 distroless 基础镜像 +### U4: 后端镜像优化 [done] + +**问题**: Backend 镜像 282MB 偏大（含 docker-cli 52MB + docker-cli-buildx 28MB + git 20MB + 3 平台 agent 18MB + 未裁剪 kubectl 60MB） + +**已完成 (2026-06-27)**: +- ✅ **移除 git/docker-cli/docker-cli-buildx** (节省 ~100MB) — 改为懒加载（首次流水线使用时通过 `apk add --no-cache` 自动安装） +- ✅ **PipelineHandler 注入 ToolInstaller** — `runCheckout` 调 `EnsureAvailable("git")`，`runImageBuild` 调 `EnsureAvailable("docker-cli")` +- ✅ **UpgradeTools** 函数 — 自动将 DB 中 git/docker-cli 从 `preinstall` 升级为 `lazy`（带 apk install script） +- ✅ **仅内置 linux-amd64 agent** (节省 ~12MB) — arm64/darwin 通过下载 API 提供 +- ✅ **kubectl 改用 install-kubectl.sh 下载** (~47MB stripped vs 60MB 未裁剪) — 同时从 .dockerignore 排除 backend/kubectl 60MB 二进制 +- ✅ **Dockerfile.embed + backend/Dockerfile 同步更新** + +**验收标准**: +- [x] 镜像从 282MB 降至 **107MB**（目标 < 150MB ✅，降幅 62%） +- [x] `go build` 零错误 +- [x] 17/17 集成测试通过 +- [x] 前端正常服务（embed 模式） +- [x] git/docker 确认不在镜像中（`which git` / `which docker` 返回失败） +- [x] kubectl 确认在镜像中（`which kubectl` 返回 `/usr/local/bin/kubectl`） +- [x] UpgradeTools 日志确认 git/docker-cli preinstall→lazy 升级成功 --- @@ -289,7 +306,7 @@ services/api.ts (1324L) | U1 | 虚拟滚动 | P3 | **done** | | U2 | 统一 DataTable | P3 | **done** | | U3 | 国际化 | P3 | pending | -| U4 | 镜像优化 | P3 | pending | +| U4 | 镜像优化 | P3 | **done** | --- diff --git a/TDD_PLAN.md b/TDD_PLAN.md index 805c58a..8040807 100644 --- a/TDD_PLAN.md +++ b/TDD_PLAN.md @@ -672,3 +672,53 @@ python3 tests/integration_test.py --host 127.0.0.1 --port 8080 | tail -3 - [x] U7: LogDatasourcePage 迁移到 DataTable（含搜索/排序/CRUD） - [x] U8: 支持 6+ 核心功能开关（sortable/searchable/pagination/selectable/exportable/columnToggle） - [x] U9: 17/17 集成回归测试通过 + +--- + +## P3-U4: 后端镜像优化 + +### 验证用例 + +```bash +# U1: 镜像大小 +docker images --format '{{.Repository}}:{{.Tag}} {{.Size}}' | grep aiops +# 期望: < 150MB + +# U2: Go 编译 +cd /srv/aiops/backend && go build ./... +# 期望: 零错误 + +# U3: git 不在镜像中（懒加载） +docker exec aiops which git 2>&1 || echo "git NOT in image" +# 期望: git NOT in image + +# U4: docker 不在镜像中（懒加载） +docker exec aiops which docker 2>&1 || echo "docker NOT in image" +# 期望: docker NOT in image + +# U5: kubectl 在镜像中 +docker exec aiops which kubectl +# 期望: /usr/local/bin/kubectl + +# U6: 仅 linux-amd64 agent +docker exec aiops ls /app/agent/bin/ +# 期望: 只有 aiops-agent-linux-amd64 + +# U7: UpgradeTools 日志 +docker logs aiops 2>&1 | grep 'U4 upgrade' +# 期望: git preinstall→lazy, docker-cli preinstall→lazy + +# U8: 集成回归测试 +python3 tests/integration_test.py --host 127.0.0.1 --port 8080 | tail -3 +# 期望: 17/17 passed +``` + +### 通过标准 +- [x] U1: 镜像从 282MB 降至 **107MB**（< 150MB 目标 ✅） +- [x] U2: `go build` 零错误 +- [x] U3: git 不在镜像中（首次流水线使用时通过 `apk add --no-cache git` 懒加载） +- [x] U4: docker 不在镜像中（首次流水线使用时通过 `apk add --no-cache docker-cli` 懒加载） +- [x] U5: kubectl 在镜像中（通过 install-kubectl.sh 下载 stripped 版本） +- [x] U6: 仅 linux-amd64 agent 二进制（arm64/darwin 通过下载 API） +- [x] U7: UpgradeTools 自动升级 git/docker-cli preinstall→lazy +- [x] U8: 17/17 集成回归测试通过 diff --git a/backend/Dockerfile b/backend/Dockerfile index 8fc6217..2648659 100644 --- a/backend/Dockerfile +++ b/backend/Dockerfile @@ -81,10 +81,10 @@ FROM alpine:3.20 ARG TARGETARCH ARG KUBECTL_VERSION=v1.32.2 -# 安装运行时依赖（核心最小集，重型工具改为懒加载）// Logan.Li +# 安装运行时依赖（U4 镜像瘦身 — 核心最小集, git/docker-cli 改为懒加载）// Logan.Li COPY scripts/setup-alpine-mirrors.sh scripts/install-kubectl.sh /tmp/ RUN chmod +x /tmp/setup-alpine-mirrors.sh && /tmp/setup-alpine-mirrors.sh && \ - apk add --no-cache ca-certificates tzdata bash curl git docker-cli docker-cli-buildx && \ + apk add --no-cache ca-certificates tzdata bash curl && \ chmod +x /tmp/install-kubectl.sh && \ TARGET_OS=linux TARGET_ARCH="${TARGETARCH}" KUBECTL_VERSION="${KUBECTL_VERSION}" \ /tmp/install-kubectl.sh /usr/local/bin/kubectl && \ @@ -106,10 +106,8 @@ COPY --from=builder /app/aiops . # 创建运行时目录（agent 二进制 + 安装脚本） RUN mkdir -p /app/agent/bin /app/agent/deploy -# 复制 agent 二进制（三个平台） +# 复制 agent 二进制（U4: 仅 linux-amd64 内置, arm64/darwin 通过下载 API 提供）// Logan.Li COPY --from=agent-builder /agent/bin/aiops-agent-linux-amd64 /app/agent/bin/ -COPY --from=agent-builder /agent/bin/aiops-agent-linux-arm64 /app/agent/bin/ -COPY --from=agent-builder /agent/bin/aiops-agent-darwin-arm64 /app/agent/bin/ # 复制 agent 安装脚本和 systemd service 模板 COPY agent/deploy/install.sh /app/agent/deploy/ diff --git a/backend/controller/pipeline.go b/backend/controller/pipeline.go index b34f597..b508d9f 100644 --- a/backend/controller/pipeline.go +++ b/backend/controller/pipeline.go @@ -9,6 +9,7 @@ import ( "ezops/model" "ezops/middleware" ezredis "ezops/pkg/redis" + "ezops/pkg/toolinstaller" "github.com/gin-gonic/gin" "gorm.io/gorm" @@ -53,13 +54,14 @@ func validateCode(db *gorm.DB, code string, excludeID uint) string { // PipelineHandler 流水线管理器 type PipelineHandler struct { - db *gorm.DB - cache ezredis.Cache + db *gorm.DB + cache ezredis.Cache + toolInstaller *toolinstaller.ToolInstaller } // NewPipelineHandler 创建流水线处理器 -func NewPipelineHandler(db *gorm.DB, cache ezredis.Cache) *PipelineHandler { - return &PipelineHandler{db: db, cache: cache} +func NewPipelineHandler(db *gorm.DB, cache ezredis.Cache, ti *toolinstaller.ToolInstaller) *PipelineHandler { + return &PipelineHandler{db: db, cache: cache, toolInstaller: ti} } // PipelineListItem 列表项（含最近一次运行摘要）// Logan.Li diff --git a/backend/controller/pipeline_executor.go b/backend/controller/pipeline_executor.go index 3341036..327de8f 100644 --- a/backend/controller/pipeline_executor.go +++ b/backend/controller/pipeline_executor.go @@ -222,6 +222,13 @@ func (h *PipelineHandler) runCheckout(url, branch, workspace string, logFn func( } logFn("info", "代码检出", "> Git 拉取 "+url+" (分支: "+branch+")") + // U4: 确保工具可用（slim 镜像模式下 git 为懒加载）// Logan.Li + if h.toolInstaller != nil { + if err := h.toolInstaller.EnsureAvailable("git"); err != nil { + return fmt.Errorf("git 不可用（安装失败）: %v", err) + } + } + cmd := exec.Command("git", "clone", "--depth", "1", "-b", branch, url, workspace) output, err := cmd.CombinedOutput() // 流式输出到日志 @@ -429,6 +436,14 @@ func (h *PipelineHandler) runDockerBuild(workspace string, pipeline model.Pipeli } logFn("info", "镜像打包", fmt.Sprintf(">>> Docker 构建 (dockerfile: %s)", dfPath)) + + // U4: 确保 Docker CLI 可用（slim 镜像模式下 docker-cli 为懒加载）// Logan.Li + if h.toolInstaller != nil { + if err := h.toolInstaller.EnsureAvailable("docker-cli"); err != nil { + return fmt.Errorf("docker 不可用（安装失败）: %v", err) + } + } + cmd := exec.Command("docker", "build", "-t", fullImage, "-f", dfPath, ".") cmd.Dir = buildDir out, err := cmd.CombinedOutput() diff --git a/backend/model/deploy_tool.go b/backend/model/deploy_tool.go index 05ec528..7e4ba6e 100644 --- a/backend/model/deploy_tool.go +++ b/backend/model/deploy_tool.go @@ -191,29 +191,31 @@ echo "[Node.js] Installed: $(node --version) / npm $(npm --version)" `, SortOrder: 4, }, - // ──── Git — 版本控制（预装）// Logan.Li ──── + // ──── Git — 版本控制（懒加载, U4 镜像瘦身）// Logan.Li ──── { - Name: "git", - DisplayName: "Git", - Description: "版本控制工具，流水线代码拉取使用", - Category: "build", - InstallMethod: ToolPreinstall, - BinaryName: "git", - InstallPath: "/usr/bin/git", - CheckCommand: "git --version 2>/dev/null", - SortOrder: 5, + Name: "git", + DisplayName: "Git", + Description: "版本控制工具，流水线代码拉取使用（首次使用自动安装）", + Category: "build", + InstallMethod: ToolLazy, + BinaryName: "git", + InstallPath: "/usr/bin/git", + CheckCommand: "git --version 2>/dev/null", + InstallScript: `apk add --no-cache git`, + SortOrder: 5, }, - // ──── Docker CLI — 容器构建（预装）// Logan.Li ──── + // ──── Docker CLI — 容器构建（懒加载, U4 镜像瘦身）// Logan.Li ──── { - Name: "docker-cli", - DisplayName: "Docker CLI", - Description: "Docker 命令行工具，流水线镜像构建/推送使用", - Category: "deploy", - InstallMethod: ToolPreinstall, - BinaryName: "docker", - InstallPath: "/usr/bin/docker", - CheckCommand: "docker --version 2>/dev/null", - SortOrder: 6, + Name: "docker-cli", + DisplayName: "Docker CLI", + Description: "Docker 命令行工具，流水线镜像构建/推送使用（首次使用自动安装）", + Category: "deploy", + InstallMethod: ToolLazy, + BinaryName: "docker", + InstallPath: "/usr/bin/docker", + CheckCommand: "docker --version 2>/dev/null", + InstallScript: `apk add --no-cache docker-cli`, + SortOrder: 6, }, } } diff --git a/backend/pkg/toolinstaller/installer.go b/backend/pkg/toolinstaller/installer.go index eaa3f3f..8b04ce6 100644 --- a/backend/pkg/toolinstaller/installer.go +++ b/backend/pkg/toolinstaller/installer.go @@ -327,6 +327,8 @@ func (ti *ToolInstaller) SeedTools() { var count int64 ti.db.Model(&model.DeployTool{}).Count(&count) if count > 0 { + // U4: 即使已有数据也升级工具配置（git/docker-cli 从 preinstall→lazy） + ti.UpgradeTools() return } @@ -351,4 +353,44 @@ func (ti *ToolInstaller) SeedTools() { } else { log.Printf("[ToolInstaller] Seeded %d tools", len(tools)) } + + // U4: 新种子也执行升级 + ti.UpgradeTools() +} + +// UpgradeTools updates existing tool configs to match latest predefined definitions. +// U4: git/docker-cli 从 preinstall 迁移到 lazy（镜像瘦身）。 +func (ti *ToolInstaller) UpgradeTools() { + upgrades := map[string]struct { + installMethod model.ToolInstallMethod + installScript string + description string + }{ + "git": { + installMethod: model.ToolLazy, + installScript: "apk add --no-cache git", + description: "版本控制工具，流水线代码拉取使用（首次使用自动安装）", + }, + "docker-cli": { + installMethod: model.ToolLazy, + installScript: "apk add --no-cache docker-cli", + description: "Docker 命令行工具，流水线镜像构建/推送使用（首次使用自动安装）", + }, + } + + for name, up := range upgrades { + var tool model.DeployTool + if err := ti.db.Where("name = ?", name).First(&tool).Error; err != nil { + continue // tool not in DB, skip + } + if tool.InstallMethod == up.installMethod && tool.InstallScript == up.installScript { + continue // already up to date + } + log.Printf("[ToolInstaller] U4 upgrade: %s %s→%s", name, tool.InstallMethod, up.installMethod) + ti.db.Model(&model.DeployTool{}).Where("name = ?", name).Updates(map[string]interface{}{ + "install_method": up.installMethod, + "install_script": up.installScript, + "description": up.description, + }) + } } diff --git a/backend/router/routes.go b/backend/router/routes.go index 1d0a75d..1f8391d 100644 --- a/backend/router/routes.go +++ b/backend/router/routes.go @@ -150,7 +150,7 @@ func Register(r *gin.Engine, db *gorm.DB, log *zap.Logger, cfg *config.Config, c api.POST("/auth/register", authHandler.Register) // Webhook 触发路由（无需 JWT，由 Webhook Token 签名验证） - pipelineHandler := controller.NewPipelineHandler(db, redisCache) + pipelineHandler := controller.NewPipelineHandler(db, redisCache, ti) webhookGroup := api.Group("/webhook") { webhookGroup.POST("/job/:jobName", pipelineHandler.WebhookTrigger)