如何将公共 s3 url 加载到 putty 终端

Question

我正在尝试在 putty 终端上传提供给我的 s3 链接 https://ml-cloud-dataset.s3.amazonaws.com/Airlines_data.txt。这样我就可以在 hive 中创建表并将数据集加载到其中。

我尝试使用代码上传数据集：aws s3 cp https://ml-cloud-dataset.s3.amazonaws.com/Airlines_data.txt /home/hadoop .

这段代码给了我错误，我尝试了多种方法仍然无法上传数据。任何人都可以帮忙吗？预先感谢。

Answer 1

如果您使用aws s3 cp，则需要安装aws cli。如果您安装了它，您可以使用上传文件

aws s3 cp myfilename.txt s3://mybucketname/mypath/myfilename.txt

要下载文件，您可以使用

aws s3 cp s3://mybucketname/mypath/myfilename.txt myfilename.txt

根据您的 aws 设置，您需要访问密钥或使用 sso 登录。如果计算机位于 EC2 中，您还可以使用 IAM 角色，这样您无需 sso 或访问密钥即可登录。