如何使用aws.s3包函数（write_using和read_using）在EC2上从R访问S3数据？

Question

我正在尝试使用

write_using()

包中的

aws.s3

从 EC2 中的 R 读取/写入 S3。

到目前为止我做了什么

EC2 附加了一个 IAM，允许读取/写入特定 AWS S3 存储桶

我已将 IAM 与 EC2 关联。我还创建了一个存储桶（在本示例中，请假设它名为

my-unique-bucket

）

当我进入 EC2 并打开 R 时，然后运行类似

s3write_using(mtcars, FUN = write.csv, object = "mtcars.csv", bucket = "my-unique-bucket")

的内容

我明白了

List of 4
 $ Code     : chr "AccessDenied"
 $ Message  : chr "Access Denied"
 $ RequestId: chr "3B942C125C154B49"
 $ HostId   : chr "0dgc4Iuv3EXdQxMgkh4Qkxt+aADzxsVYp6pq2k3/OjSztFlV1nftjn4MkIvNZ+wCVqzeJsttY44="
 - attr(*, "headers")=List of 6
  ..$ x-amz-request-id : chr "3B942C125C154B49"
  ..$ x-amz-id-2       : chr "0dgc4Iuv3EXdQxMgkh4Qkxt+aADzxsVYp6pq2k3/OjSztFlV1nftjn4MkIvNZ+wCVqzeJsttY44="
  ..$ content-type     : chr "application/xml"
  ..$ transfer-encoding: chr "chunked"
  ..$ date             : chr "Tue, 18 Jun 2019 12:57:45 GMT"
  ..$ server           : chr "AmazonS3"
  ..- attr(*, "class")= chr [1:2] "insensitive" "list"
 - attr(*, "class")= chr "aws_error"
NULL
Error in parse_aws_s3_response(r, Sig, verbose = verbose) : 
  Forbidden (HTTP 403).

我本来希望这能起作用吗？相反，它看起来像是身份验证问题

下一个？

我不确定接下来要尝试什么，因为我希望上述方法能起作用。

如果没有，我是否需要以某种方式对 EC2（或在 EC2 上运行的 R 会话）进行身份验证？我认为使用根凭证进行身份验证违背了 IAM 的目的（因为根用户拥有所有权限，而与实例关联的 IAM 仅具有对 S3 的读/写权限）。所以我不确定这是否是正确的做法（似乎会有更好的方法 - 即让 S3 知道 EC2 有一个 IAM 允许其访问）。但我不知道如何做到这一点，也不知道我在尝试这个过程中哪里出了问题

Answer 1

使用 aws IAM 角色的解决方案：

您需要使用 aws.ec2metadata 并确保指定正确的 s3 存储桶区域才能使用 ec2 或 ecs 任务 IAM 角色。

library(aws.s3)
library(aws.ec2metadata)
Sys.setenv("AWS_DEFAULT_REGION" = 'us-west-2')

参考文献

这里有一些事情需要研究。

1。包含包 aws.ec2metadata

根据 https://cran.r-project.org/web/packages/aws.s3/readme/README.html，它使用 https://github.com/cloudyr/aws.signature/ aws auth 并且您需要使用 aws.ec2metadata

1. 如果 R 在 EC2 实例上运行，则由 aws.ec2metadata 提供的角色配置文件凭证（如果安装了 aws.ec2metadata 包）。

   使用 EC2 时，请注意

   aws.ec2metadata

   仅支持 IMDSv1。如果您的 EC2 实例需要 IMDSv2，则没有可用的元数据。

2. 如果 R 在 ECS 任务上运行，则由 aws.ec2metadata 提供的角色配置文件凭证（如果安装了 aws.ec2metadata 包）。

2。指定正确的 aws 区域

• S3 对区域规范可能有点挑剔。 bucketlist() 将返回所有区域的存储桶，但所有其他函数都需要指定区域。如果未明确指定且无法自动检测到正确的区域，则依赖默认值“us-east-1”。 （注意：使用不正确的区域是使用 S3 时最常见且最难找出的错误之一。）

3.验证 ec2/ecs 任务 IAM 角色是否具有对 s3 存储桶的正确访问权限（读/写）。

• 这可以通过 aws cli 验证

aws s3 ls s3://my_bucket/directory/
aws s3 cp s3://my_bucket/directory/myfile /tmp/
aws s3 cp /tmp/test s3://my_bucket/directory/ # check this only if you need write access

Answer 2

从 R 访问 S3 数据

这可以在任何地方工作（例如 Windows、Mac 等，无论是在 EC2 上运行还是在其他方式上运行）。您在 R 中需要此代码：

key <- "ALIAVI5FAYD9B(8MVJZ" # Substitute with your own (see below)
secret <- "ePy7jMlRj5jTVAruqmb3uap9bHXmnsSHI+zqfdmHL" # (see below)

Sys.setenv("AWS_ACCESS_KEY_ID" = key,
           "AWS_SECRET_ACCESS_KEY" = secret)

bucketlist() # This returns a list of all your buckets if authentication was successful 

要使其正常工作，您需要使用独特的

key

和

secret

来加入。这样做只需 1 分钟，请执行以下操作：

1. 在浏览器中转到 AWS 中的 IAM 部分
2. 创建 IAM 用户（访问类型选择“编程访问”）
3. 授予其预定义的“AmazonS3FullAccess”权限（通过单击“直接附加现有策略”并搜索“AmazonS3FullAccess”来执行此操作）。不需要标签或其他任何东西。
4. 单击并创建用户。您将在最后一个屏幕的浏览器中看到访问密钥和秘密。
5. 将密钥和秘密放入您的 R 代码中（如上），然后就完成了！这就是全部内容了。

一些额外的提示

# Write to your S3 bucket
s3write_using(mtcars, FUN = write.csv, object = "mtcars.csv", bucket = "your-bucket-name")

# Read from your S3 bucket
myfile <- s3read_using(FUN = read.csv, object = "mtcars.csv", bucket = "your-bucket-name")

# In case you need to remove an environment variable AWS_SESSION_TOKEN, this will clear it
Sys.unsetenv("AWS_SECRET_ACCESS_KEY")