diff --git a/scripts/release.sh b/scripts/release.sh index bbe777b..f9f01e9 100755 --- a/scripts/release.sh +++ b/scripts/release.sh @@ -23,6 +23,14 @@ # bash scripts/release.sh # 构建 + 推三个 tag + 滚动重启(拉 latest) # bash scripts/release.sh --no-deploy # 只构建 + 推送,不碰集群 # bash scripts/release.sh --pin # 额外把 deployment.yaml 钉到不可变 tag(可选) +# bash scripts/release.sh --dry-run # 只检查锁与前置条件,不构建不推送 +# +# 并发保护(重要): +# 本项目所有环境都拉 latest,两个构建同时跑会互相覆盖 latest: +# 后完成的那次生效,先完成的那次白推。曾出现"中断的构建后来完成, +# 把 latest 指回旧代码",表现为"改了但没生效",极难排查。 +# 因此脚本用 flock 加独占锁,同一时刻只允许一个发布任务。 +# flock 在进程退出时自动释放,不会留下需要手工清理的僵尸锁。 # ============================================================ set -euo pipefail @@ -32,6 +40,43 @@ IMAGE_REPO="${IMAGE_REPO:-lghost/lokistack}" VERSION="${VERSION:-2.0.0}" MODE="${1:-}" +# ── 独占锁:同一时刻只允许一个发布任务 ──────────────────────────────── +# 为什么必须加:所有清单都指向 latest,两个构建并发时谁后完成谁生效, +# 另一个的推送等于白做;更糟的是完成顺序不可控,可能把 latest 指向更旧的 +# 代码。这是"改了但没生效"类问题的根源之一。 +# flock 跟随文件描述符,进程退出(含 Ctrl-C / set -e 中断)自动释放。 +LOCK_FILE="${RELEASE_LOCK_FILE:-/var/lock/lokistack-release.lock}" +mkdir -p "$(dirname "${LOCK_FILE}")" 2>/dev/null || true +if ! exec 9>"${LOCK_FILE}"; then + echo "❌ 无法创建锁文件 ${LOCK_FILE}(权限不足?)" + exit 1 +fi +if ! flock -n 9; then + echo "❌ 已有发布任务正在进行,本次不启动。" + echo " 锁文件 : ${LOCK_FILE}" + echo " 查看占用 : fuser -v ${LOCK_FILE} 2>/dev/null || lsof ${LOCK_FILE}" + echo " 无需手工删锁文件:持有进程退出时 flock 自动释放。" + exit 1 +fi +echo "🔒 已获取发布锁:${LOCK_FILE}" + +echo "==========================================" +echo " 前置检查" +echo "==========================================" +echo " 仓库 : ${IMAGE_REPO}" +if ! command -v docker >/dev/null 2>&1; then + echo "❌ 未找到 docker 命令" + exit 1 +fi +echo " docker : $(docker version --format '{{.Server.Version}}' 2>/dev/null || echo '未知')" + +if [ "${MODE}" = "--dry-run" ]; then + echo "" + echo "(--dry-run) 只做前置检查:不构建、不推送、不动集群。" + echo " → 锁获取正常。" + exit 0 +fi + SHORT_SHA=$(git rev-parse --short=8 HEAD 2>/dev/null || echo "nogit") DIRTY="" if ! git diff --quiet 2>/dev/null; then @@ -53,9 +98,23 @@ echo "✅ 构建完成 ${IMAGE_ID}" echo "" echo "推送三个 tag(latest 与 v0.1 必须同 digest,否则环境间会版本漂移)..." -docker push "${IMAGE_REPO}:latest" | tail -1 -docker push "${IMAGE_REPO}:v0.1" | tail -1 -docker push "${IMAGE_REPO}:${IMMUTABLE_TAG}" | tail -1 +# Docker Hub 偶发 502(实测踩过:v0.1 推成功、latest 失败 → +# latest 指着旧镜像,Pod 重启后跑的是旧代码)。所以每次 push 都重试。 +push_with_retry() { + local tag="$1" attempt + for attempt in 1 2 3; do + if docker push "${IMAGE_REPO}:${tag}" 2>&1 | tail -1; then + return 0 + fi + echo " ⚠️ push ${tag} 第 ${attempt} 次失败,10 秒后重试..." + sleep 10 + done + echo "❌ push ${tag} 连续 3 次失败(镜像仓库异常?)" + return 1 +} +push_with_retry latest +push_with_retry v0.1 +push_with_retry "${IMMUTABLE_TAG}" # ── 校验三个 tag 指向同一个镜像 ── echo ""