如何将Hadoop HDFS文件夹直接导出到远程服务器

问题描述 投票:0回答:0

我正在寻找将 HDFS 目录导出到远程服务器(到普通文件系统)的解决方案。我对两台服务器(本地和远程)都有 sudo/root 访问权限。要导出的文件大小约为 3TB

  • 不能使用

    hadoop fs -copyToLocal
    ,因为它写入本地服务器,该服务器的空间受限于复制数据。

  • 不能使用

    sshfs
    挂载远程服务器文件夹,因为它在服务器机器中不可用,并且由于安全策略无法安装新工具

  • hadoop distcp
    仅支持同步/复制数据到另一个 hdfs 集群?

hadoop copy hdfs remote-server
© www.soinside.com 2019 - 2024. All rights reserved.