aiops/backend/pkg/database/database.go

package database

import (
	"fmt"
	"log"
	"strings"
	"time"

	"ezops/config"
	"ezops/model"
	"ezops/pkg/appdir"

	"gorm.io/driver/mysql"
	"gorm.io/driver/postgres"
	"github.com/glebarez/sqlite"
	"gorm.io/gorm"
	"gorm.io/gorm/logger"
)

// New 创建数据库连接
func New(cfg config.DatabaseConfig) (*gorm.DB, error) {
	var dialector gorm.Dialector

	switch cfg.Driver {
	case "mysql":
		dsn := fmt.Sprintf("%s:%s@tcp(%s:%d)/%s?charset=%s&parseTime=True&loc=Local",
			cfg.User, cfg.Password, cfg.Host, cfg.Port, cfg.DBName, cfg.Charset)
		dialector = mysql.Open(dsn)
	case "postgres":
		dsn := fmt.Sprintf("host=%s port=%d user=%s password=%s dbname=%s sslmode=disable",
			cfg.Host, cfg.Port, cfg.User, cfg.Password, cfg.DBName)
		dialector = postgres.Open(dsn)
	case "sqlite":
		dsn := appdir.Resolve(cfg.DBName)
		if err := appdir.EnsureParentDir(dsn); err != nil {
			return nil, fmt.Errorf("创建数据库目录失败: %w", err)
		}
		if !strings.Contains(dsn, "?") {
			// WAL 提升并发读，busy_timeout 降低锁冲突 // Logan.Li
			dsn += "?_pragma=journal_mode(WAL)&_pragma=busy_timeout(5000)"
		}
		dialector = sqlite.Open(dsn)
		if cfg.MaxConn > 4 {
			cfg.MaxConn = 4
		}
		if cfg.MaxIdle > 2 {
			cfg.MaxIdle = 2
		}
	default:
		return nil, fmt.Errorf("unsupported database driver: %s", cfg.Driver)
	}

	db, err := gorm.Open(dialector, &gorm.Config{
		Logger: logger.Default.LogMode(logger.Silent),
	})
	if err != nil {
		return nil, err
	}

	// 设置连接池
	sqlDB, err := db.DB()
	if err != nil {
		return nil, err
	}

	sqlDB.SetMaxOpenConns(cfg.MaxConn)
	sqlDB.SetMaxIdleConns(cfg.MaxIdle)
	sqlDB.SetConnMaxLifetime(time.Hour)

	return db, nil
}

// AutoMigrate 自动迁移数据库表
// 逐表迁移：单张表的迁移错误（如索引名冲突）不会阻塞其他表，
// 避免 GORM + MySQL 8.0 的 "Can't DROP" 索引问题导致整个启动失败
func AutoMigrate(db *gorm.DB) error {
	allModels := []interface{}{
		&model.User{},
		&model.Role{},
		&model.Permission{},
		&model.Server{},
		&model.Cloud{},
		&model.CloudAccount{},
		&model.Region{},
		&model.Domain{},
		&model.KubernetesCluster{},
		&model.KubernetesNode{},
		&model.KubernetesPod{},
		&model.KubernetesDeployment{},
		&model.KubernetesService{},
		&model.KubernetesIngress{},
		&model.AlertRule{},
		&model.AlertEvent{},
		&model.AlertContact{},       // 报警联系人 // Logan.Li
		&model.AlertContactGroup{},  // 报警联系组 // Logan.Li
		&model.AlertNotifyPolicy{},   // 告警集合通知策略 // Logan.Li
		&model.AlertNotifySettings{}, // 告警消息模版 // Logan.Li
		&model.NotifyChannel{},
		&model.MetricData{},
		&model.Pipeline{},
		&model.PipelineRun{},
		&model.AppRelease{},
		&model.CronJob{},
		&model.Script{},
		&model.TaskExecution{},
		&model.ApprovalTemplate{},
		&model.ApprovalProcess{},
		&model.ApprovalStep{},
		&model.NavigationGroup{},
		&model.NavigationLink{},
		&model.AuditLog{},
		&model.AuditSettings{},     // 审计保留策略 // Logan.Li
		&model.LoginLog{},          // 登录日志 // Logan.Li
		&model.SystemTaskStatus{},  // 内置系统任务状态 // Logan.Li
		&model.LDAPConfig{},
		&model.ResourceModel{},
		&model.CloudBilling{},
		&model.BillingAlertRule{},
		&model.AgentReport{},
		&model.AgentTask{},
		&model.AgentRule{},
		&model.AgentAlert{},
		&model.AnsiblePlaybook{},
		&model.AnsibleJob{},
		&model.AnsibleInventory{},
		&model.LogSource{},
		&model.LogEntry{},
		&model.TopologyLayout{},  // 拓扑布局保存 // Logan.Li
		&model.TerminalSession{}, // 终端会话录制（终端审计） // Logan.Li
		&model.SessionCommand{},  // 终端会话命令审计 // Logan.Li
		&model.LLMConfig{},       // 大语言模型配置（AI 智能助手） // Logan.Li
		&model.ChatHistory{},     // 对话历史记录（按用户隔离） // Logan.Li
		&model.MetricsAggregate{}, // 指标时序聚合（Redis → MySQL）// Logan.Li
		&model.MonitorTarget{},   // 监控目标（主机/中间件/设备/站点） // Logan.Li
		&model.MonitorMetric{},   // 监控指标定义 // Logan.Li
		&model.MetricValue{},     // 指标当前值 // Logan.Li
		&model.MetricHistory{},   // 指标历史时序 // Logan.Li
		&model.HostGroup{},       // 主机组 // Logan.Li
		&model.SNMPDevice{},       // SNMP设备 // Logan.Li
		&model.SNMPTemplate{},     // SNMP模板 // Logan.Li
		&model.SNMPTemplateOID{},  // SNMP模板OID // Logan.Li
		&model.SNMPMetric{},       // SNMP采集指标 // Logan.Li
		&model.SNMPInterface{},    // SNMP接口信息 // Logan.Li
		&model.SiteTask{},        // 站点拨测任务 // Logan.Li
		&model.SiteResult{},      // 拨测结果 // Logan.Li
		&model.SiteAlert{},       // 拨测告警 // Logan.Li
		&model.MonitorAlertRule{}, // 中间件/站点拨测告警规则 // Logan.Li
		&model.PrometheusDataSource{},  // Prometheus 数据源配置 // Logan.Li
		&model.ZabbixDataSource{},      // Zabbix 数据源配置 // Logan.Li
		&model.LogDataSource{},         // Loki / ES 日志数据源 // Logan.Li
		&model.Credential{},           // 凭据管理（SSH密钥/API Token） // Logan.Li
		&model.PipelineRepo{},         // Git 仓库认证 // Logan.Li
		&model.PipelineRegistry{},     // 镜像仓库认证 // Logan.Li
		&model.DeployEnvironment{},    // 发布环境分组 // Logan.Li
		&model.DeployPipelineMember{}, // 流水线成员 // Logan.Li
		&model.DeployUserGroup{},      // 用户组 // Logan.Li
		&model.DeployUserGroupMember{}, // 用户组成员 // Logan.Li
		&model.ItemRole{},            // Jenkins-style Item Role (regex pipeline matching) // Logan.Li
		&model.UserItemRole{},        // User ↔ ItemRole association // Logan.Li
		&model.DeployTool{},          // 工具配置（懒加载/预装/禁用） // Logan.Li
		&model.AlertCondition{},        // 告警条件 // Logan.Li
		&model.AlertNotifyTemplate{},   // 告警通知模板 // Logan.Li
		&model.AlertUpgrade{},          // 告警升级策略 // Logan.Li
		&model.AlertUpgradeRecord{},    // 告警升级记录 // Logan.Li
		&model.AlertSilence{},          // 告警静默 // Logan.Li
		&model.HealthProbe{},          // 健康探针配置 // Logan.Li
		&model.ApprovalWorkflow{},      // 审批流程定义 // Logan.Li
		&model.ApprovalWorkflowStep{},   // 审批流程步骤 // Logan.Li
		&model.AgentCLISession{},        // Agent CLI 任务会话 // Logan.Li
		&model.AgentCLIMessage{},        // Agent CLI 推理消息 // Logan.Li
		&model.CustomDashboard{},        // 自定义监控仪表盘 // Logan.Li
		&model.TraceDataSource{},        // 链路追踪数据源 Jaeger/Tempo // Logan.Li
	}

	var lastErr error
	for _, m := range allModels {
		if err := db.AutoMigrate(m); err != nil {
			// 记录但不阻塞 — 表和大多数索引已正常创建，
			// 个别索引 DROP 冲突不影响核心功能
			lastErr = err
		}
	}
	// 全部跑完后返回 nil：单张表的索引错误不应阻断服务启动
	_ = lastErr
	applySchemaPatches(db)
	return nil
}

// applySchemaPatches 补全 AutoMigrate 可能遗漏的列（MySQL 索引冲突时 User 表不会自动加列）// Logan.Li
func applySchemaPatches(db *gorm.DB) {
	m := db.Migrator()
	if !m.HasTable(&model.User{}) {
		return
	}
	patchUserColumn := func(field string, col string) {
		if !m.HasColumn(&model.User{}, col) {
			if err := m.AddColumn(&model.User{}, field); err != nil {
				log.Printf("[DB] 补列 %s 失败: %v", col, err)
			}
		}
	}
	patchUserColumn("ApiAccessKeyExpiresAt", "api_access_key_expires_at")
	patchUserColumn("ApiAccessKeyID", "api_access_key_id")
	patchUserColumn("ApiAccessKeyDescription", "api_access_key_description")
	patchUserColumn("ApiAccessKeyDurationMonths", "api_access_key_duration_months")
	patchUserColumn("ApiAccessKeyLastUsedAt", "api_access_key_last_used_at")

	// 补全日志数据源表可能缺失的列（旧表仅有基础字段）// Logan.Li
	patchLogDSColumn := func(field string, col string) {
		if !m.HasColumn(&model.LogDataSource{}, col) {
			if err := m.AddColumn(&model.LogDataSource{}, field); err != nil {
				log.Printf("[DB] 补列 monitor_log_datasources.%s 失败: %v", col, err)
			}
		}
	}
	patchLogDSColumn("AuthType", "auth_type")
	patchLogDSColumn("Token", "token")
	patchLogDSColumn("Headers", "headers")
}