rsync无法通过slurm连接到主机

Question

我目前正在使用 Slurm 来安排使用 Rsync 的数据传输。我通常使用 SSH 和命令“ssh user_name@server”连接到目标服务器，它可以正常工作。但是，我在尝试对同一任务使用 sbatch 时遇到错误。我有

ssh：无法解析主机名 server.edu：名称解析暂时失败 rsync：连接意外关闭（到目前为止收到 0 个字节）[发件人]

下面是用于安排数据传输的 sbatch 脚本。

#!/bin/bash
#SBATCH --job-name=rsync_job
#SBATCH --output=rsync_job_%j.out
#SBATCH --error=rsync_job_%j.err
#SBATCH --nodes=1
#SBATCH --ntasks-per-node=1
#SBATCH --time=00:30:00

# Set the source and destination paths
src_path=/source/path
dest_path=/destination/path/

# Use rsync to copy files from source to destination
rsync -avzr --progress $src_path username@server:/dest_path

echo "Rsync job complete"```

Anyone knows how can I schedule the rsync with sbatch


I expect to schedule the data transfer using (slurm, sbatch)

Answer 1

错误

Could not resolve hostname server.edu

表示计算节点无法将服务器名称转换为其IP地址。

这可能是一个临时问题，正如消息所暗示的那样，或者仅仅是计算节点没有按设计配置的名称解析。

为了缓解这个问题，您可以使用

dig

命令找出 IP 地址（例如参见 this reference）并将其放在

rsync

命令行中，例如

 rsync -avzr --progress $src_path [email protected]:/dest_path