如何在pred hadoop集群上使用s3文件？

Question

我有一个cloudera VM，能够设置aws CLI和设置密钥。但是，我不能使用hadoop fs -ls s3：// gft-ri或任何hadoop来读取s3文件或访问s3文件命令。我可以使用aws CLI查看目录/文件。

命令快照：

(base) [cloudera@quickstart conf]$ **aws s3 ls s3://gft-risk-aml-market-dev/**
                           PRE test/
2019-11-27 04:11:26        458 required

(base) [cloudera@quickstart conf]$ **hdfs dfs -ls s3://gft-risk-aml-market-dev/**
19/11/27 05:30:45 WARN fs.FileSystem: S3FileSystem is deprecated and will be removed in future releases. Use NativeS3FileSystem or S3AFileSystem instead.
ls: `s3://gft-risk-aml-market-dev/': No such file or directory

我已经输入了core-site.xml详细信息。

  <property>
    <name>fs.s3.impl</name>
    <value>org.apache.hadoop.fs.s3.S3FileSystem</value>
  </property>

  <property>
    <name>fs.s3.awsAccessKeyId</name>
    <value>ANHS</value>
  </property>

  <property>
    <name>fs.s3.awsSecretAccessKey</name>
    <value>EOo</value>
  </property>

   <property>
     <name>fs.s3.path.style.access</name>
     <value>true</value>
    </property>

   <property>
    <name>fs.s3.endpoint</name>
    <value>s3.us-east-1.amazonaws.com</value>
  </property>

     <property>
        <name>fs.s3.connection.ssl.enabled</name>
        <value>false</value>
    </property>

Answer 1

我将使用Linux控制台挂载S3存储桶，然后以这种方式将文件从那里移动到HDFS。您可能需要先在root用户上进行sudo'安装，然后再将其安装在Cloudera快速入门上，例如sudo yum install s3fs-fuse