数据迁移
使用scp
命令,用户可以从其他服务器、存储将数据拷贝至HPC三期平台(需提前确认网络连通性)
网络连通性确认
在HPC三期平台上使用ping
命令确认是否能访问源数据
# 确认HPC二期平台网络连通性
ping hpc2login.hkust-gz.edu.cn
HPC二期平台数据迁移
rsync
适合大量文件数据迁移操作
rsync -vrlptDSH username@hpc2login.hpc.hkust-gz.edu.cn:<source_path> <target_path>
-v :表示详细模式(verbose),会显示同步过程中的详细信息,如正在传输的文件名、传输进度等,方便用户了解同步的进展情况。
-r :表示递归(recursive),会将源目录下的所有子目录和文件都同步到目标目录,确保整个目录结构完整地复制过去。
-l :用于保持符号链接(link),即在同步过程中,如果源目录中有符号链接文件,会将符号链接本身复制到目标目录,而不是复制符号链接所指向的原始文件。
-p :表示保持文件权限(permissions),确保同步后的文件在目标目录中具有与源文件相同的权限设置,如读、写、执行权限等,这对于一些对权限要求严格的程序或文件来说非常重要。
-t :用于保持文件的时间戳(times),包括文件的修改时间、访问时间等,这样在目标目录中的文件可以与源文件保持时间上的一致性,有助于在需要时根据时间信息追溯文件的变化历史。
-D :等同于 -a -X ,其中 -a 表示存档模式(archive),它会递归地复制文件,并且保持文件的所有属性,如权限、所有者、时间戳等;-X 表示复制扩展属性(extended attributes),包括文件的 ACL(访问控制列表)等信息。不过在这个命令中,-D 可能是用于保持设备文件和特殊文件的处理,不同版本的 rsync 对该选项的解释可能会略有不同。
-S :表示通过压缩传输数据(compress),在传输过程中对文件进行压缩处理,可以减少传输的数据量,提高传输速度,尤其是在网络带宽有限的情况下效果明显。不过这会增加 CPU 的负担,因为需要进行压缩和解压缩操作。
-H :表示保持硬链接(hard links),如果源目录中有多个文件链接到同一个 inode(即硬链接),会确保在目标目录中这些文件也保持硬链接关系,而不是复制成多个独立的文件。
scp
通过scp
命令,将HPC二期平台存储将数据拷贝至HPC三期平台存储
# 文件拷贝
scp -p username@hpc2login.hpc.hkust-gz.edu.cn:<source_file> <target_path>
# 目录拷贝
scp -rp username@hpc2login.hpc.hkust-gz.edu.cn:<source_path> <target_path>