amazon-s3 相关问题

Amazon S3(简单存储服务)是Amazon Web Services提供的在线对象存储服务。

如何使用数据目录表检索在 AWS Glue Visual ETL 中读取的 CSV 文件的文件名并处理单个文件的验证错误?

我正在使用 AWS Glue Visual Studio ETL 处理存储在 S3 存储桶中的 CSV 文件。这些文件在 Glue 数据目录中注册,并在 ETL 作业期间作为单个 DynamicFrame 读取。我想要: -

回答 1 投票 0

如何使用 AWS CLI 根据列表下载文件?

我正在尝试从包含数百万个 IRS 文件的公共 s3 存储桶下载文件子集。我可以使用以下命令下载整个存储库: aws s3 同步 s3://irs-form-990/ ./ 但它...

回答 2 投票 0

根据通配符判断S3存储桶中是否存在对象

有人可以告诉我如何确定 S3 存储桶中是否存在某个文件/对象,并在存在或不存在时显示一条消息。 基本上我希望它: 1) 检查水桶...

回答 14 投票 0

如何不断地将新的S3文件复制到另一个S3存储桶

如何连续将一个S3存储桶复制到另一个S3存储桶?我想在每次添加新文件时复制文件。 我尝试过使用 boto3 copy_object 但是我每次都需要密钥......

回答 3 投票 0

如何配置 nginx 来提供来自 AWS S3 存储桶的静态文件?

我目前正在部署一个简单的 Flask Web 应用程序,使用 nginx 作为我的 WSGI 和用户之间的反向代理。但是,我不想在我的 VPS b 上存储静态文件(特别是图像)...

回答 2 投票 0

尝试使用 Github 操作将版本保存到 S3 时,Beanstalk 部署失败

部署失败并立即停止并显示空白错误消息: 正在将文件上传到存储桶 elasticbeanstalk-us-east-1-333 错误:部署失败:错误:状态:403。消息: 我的 einaregilsson/豆子...

回答 1 投票 0

仅允许EC2实例访问S3上的静态网站

我有一个托管在S3上的静态网站,我已将所有文件设置为公开。 另外,我有一个带有 nginx 的 EC2 实例,充当反向代理并可以访问静态网站,因此 S3 发挥作用...

回答 3 投票 0

IAM 角色访问 S3 存储桶中的单个文件夹

我想限制对S3存储桶中单个文件夹的访问,我已经为其编写了一个IAM。 我想确保 TeamRole 的用户对某个文件夹下的所有文件夹具有列表和只读访问权限...

回答 1 投票 0


尝试阻止某些文件扩展名上传到我的 S3 存储桶,但似乎不起作用

我将以下策略添加到我的 S3 存储桶中,因为我想防止这 4 个文件扩展名上传到我的存储桶中的任何位置(文件夹、子文件夹等)。 我仍然可以使用...

回答 1 投票 0

使用 S3 预签名 URL 通过消息应用程序安全地发送图像是否合适?

我正在开发一项服务,我需要通过消息应用程序向用户发送图像。根据Messenger应用程序的API指南,图像需要以以下格式发送: { “输入&

回答 1 投票 0

在 Windows 10 中使用 aws 客户端时出现 SSL 证书错误:[SSL: CERTIFICATE_VERIFY_FAILED]

最近,我在列出来自 Amazon S3 的数据时遇到错误: AWS S3 LS https://s3.eu-west-1.amazonaws.com/ [SSL: CERTIFICATE_VERIFY_FAILED] 证书的 SSL 验证失败...

回答 3 投票 0

ng2-file-upload:避免使用 FormData 上传文件

我正在使用 g2-file-upload 库通过签名 URL 将文件上传到 S3 存储桶。然而,问题是 g2-file-upload 在上传请求中始终使用 formData: { file: binary } 格式...

回答 1 投票 0

仅查询 Snowflake 中的 AWS S3 存储桶前缀

仅查询 Snowflake 中的 AWS S3 存储桶前缀。从下面的示例中,我只想获取“test1,test2,test3”的列表。 例子: S3://Bucket1/test1/file1.csv S3://Bucket1/test2/file...

回答 1 投票 0

botocore >= 1.28.0 在多线程应用程序中速度较慢

Boto3 官方文档建议为每个线程创建一个新资源:https://boto3.amazonaws.com/v1/documentation/api/latest/guide/resources.html#multithreading-or-multiprocessing-with-resources

回答 1 投票 0

如何找到用于在 Amazon S3 上创建现有多部分对象的部分大小?

文件中包含大量零件,很容易找到合适的零件尺寸(因为可能的零件尺寸的排列数量有限,并且零件尺寸通常可以假设落在 M...

回答 2 投票 0

从 COPY vertica 命令中删除双引号

我正在使用 Clickhouse S3 表引擎将数据存储在 S3 存储中的 csv 文件中。 Vertica 不时读取此 csv 文件以使用数据并将其粘贴到自己的表中 clickhouse S3表的DDL

回答 1 投票 0

从外部网站下载文件到AWS S3存储桶

我们有外部网站,那里有下载文件的链接。我想将此文件下载到 s3 存储桶。该网站还要求在下载之前登录。 我们如何使用...来实现它

回答 1 投票 0

使用 boto3 获取 S3 多区域接入点的预签名 url

我在 eu-west-2 有一个 EC2 实例。 我使用 python boto3 生成一个预签名 URL,我将其返回到 Web 浏览器以启用对文件的临时访问,以便可以显示它们。 我已经设置好了

回答 1 投票 0

从pandas上传到S3时如何添加标签?

Pandas 允许您将 AWS S3 路径直接传递给 .to_csv() 和 .to_parquet()。 有一个 storage_options 参数用于传递 S3 特定参数。 我想致电 .to_csv('s3://bucket/key.csv',

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.