gitlab-CI管道:尝试删除文件时lftp错误550

问题描述 投票:1回答:2

我正在gitlab.com环境上使用免费的共享运行程序。我有一个gitlab-CI管道,一个接一个地运行以下lftp命令:

  • lftp -c "set ftp:ssl-allow no; open -u $USERNAME,$PASSWORD $HOST; glob -a rm -r ./httpdocs/*"
  • lftp -c "set ftp:ssl-allow no; open -u $USERNAME,$PASSWORD $HOST; mirror -R public/ httpdocs --ignore-time --parallel=50 --exclude-glob .git* --exclude .git/"

这些命令的目的是删除httpdocs文件夹(先前的文件)的内容,然后上载新的构建构件。

CI管道是从CMS触发的。有时,内容编辑器会并行更新内容,从而导致许多触发器并行运行(流水线大约需要3分钟才能完成)。

然后管道将开始失败,并出现以下错误:

rm:访问失败:550 /httpdocs/build-html-styles.css:没有此类文件或目录

之所以这样,是因为另一个管道删除的文件在排队等待删除。当httpdocs文件夹完全为空时,会发生非常类似的错误。这导致整个管道失败(第二个上载lftp命令根本无法执行)。

失败的管道及其输出示例:

如何防止这种情况发生?使用lftp上传工件不是必须的-我正在运行node:8.10.0 docker映像。 Gitlab-ci.yml个文件有问题。

linux gitlab-ci lftp
2个回答
0
投票

[lavv17/lftp issue 302主张lftp跳过这样的内容,但是并没有获得任何关注。

lavv17/lftp

要删除目录,请使用mailing list suggests

在您的情况下:rmdir(如果需要空白文件夹,紧接着是rm -rf httpdocs/


0
投票

我在评论带有简单的主动轮询等待的简单的mkdir httpdocs。我没有lftp的经验,但是从各种Internet资源(例如file locking)中争先恐后地写了以下内容。我看到lftp不支持协议中的文件锁定,因此您可以执行以下操作:

this

我使用const="set ftp:ssl-allow no; open -u $USERNAME,$PASSWORD $HOST" # wait until file exists while lftp -c "$const; df lockfile"; do sleep 1; done # create the lockfile lftp -c "$const; mkdir lockfile" # the work lftp -c "$const; glob -a rm -r ./httpdocs/*" lftp -c "$const; mirror -R public/ httpdocs --ignore-time --parallel=50 --exclude-glob .git* --exclude .git/" # remove lockfile lftp -c "$const; rmdir lockfile" mkdir以及目录而不是文件,因为我不知道如何使用lftp创建空文件。在查找文件和创建文件之间仍然存在争用条件,但是它至少应防止两次并发访问。为了保护更多,您可以执行rmdir之类的操作-将睡眠时间设为随机,这样他们就可以少“一致地”创建文件。

[以防万一,我不会镜像到sleep 0.$(printf "%02d" $((RANDOM / 10)))目录,而是镜像到httpdocs这样的临时目录,以后可以重命名为tmp=httpdocs_$(uuidgen); lftp "mirror .. $tmp",以使部署更安全,停机时间更少(lftp 'rmdir httpdocs; rename $tmp httpdocs"的时间更少)变成空的)。为了将来,我建议只使用一种更安全/更高级的协议来连接您的远程服务器,该协议支持文件锁定。像ssh。也许是桑巴舞。

© www.soinside.com 2019 - 2024. All rights reserved.