amazon-s3 相关问题

Amazon S3(简单存储服务)是Amazon Web Services提供的在线对象存储服务。

PHP上传到AWS S3会产生错误的目标路径

我想使用PHP将图像文件上传到我的S3存储。我使用这个帮助库:https://github.com/psugand/CodeIgniter-S3这是我的PHP代码:$ this-> s3-> putObject($ this-> s3 - > ...

回答 1 投票 1

加载csv文件s3 pyspark的随机样本

我正在尝试在s3中加载一个总共100万行数据的随机样本。有没有一种简单的方法可以将s3中的随机样本直接加载到pyspark数据帧中?在熊猫中,这个df = ...

回答 1 投票 1

Cloudfront CORS仅适用于子域

当我运行curl -I -s -X GET -H“来源:https://myapp.com”https://s3.amazonaws.com/myapp/时,使用Cloudfront + S3时我对CORS的行为非常奇怪assets / fontawesome-webfont.woff | grep ...

回答 1 投票 1

如何读取S3存储桶中每个项目的元数据?

我可以使用以下命令在S3存储桶中的每个项目上设置Cache-Control元数据(来自此答案):aws s3 cp s3:// mybucket s3:// mybucket --recursive --metadata-directive REPLACE \ --cache -...

回答 1 投票 3

AWS EMR - Hive在S3中创建新表会导致AmazonS3Exception:Bad Request

我有一个Hive脚本我在EMR中运行,它在S3中创建了一个分区的Parquet表,它还存储在S3中的~40GB gzip压缩文件中。该脚本运行良好约4小时但达到了一个点......

回答 1 投票 0

如何在laravel 5.5中的s3桶中上传图像

我试图将图像存储在S3存储桶中,我正在使用laravel 5.5我是新的,我被困在这里:我正在尝试的是:我的控制器:公共功能imageUploadPost(请求$请求){$ ...

回答 2 投票 1

如何将.zip数据导入neo4j?

我有一个压缩并存储在s3上的CSV文件,我打算直接从URL导入文件。我无法在Neo4j官方文档中找到任何方法。

回答 1 投票 0

AWS S3 - 在404 NoSuchKey中获取对象结果

我正在使用AWS SDK将图像放入我的S3实例。我能够通过以下方式成功完成此任务:AmazonS3 s3client = new AmazonS3Client(new ProfileCredentialsProvider()); s3client.putObject(新...

回答 1 投票 2

使用Pyspark读取S3上随机的文件样本

我在S3上有一个包含1000个文件的存储桶。每个约1GB。我想阅读这些文件的随机样本。让我们说5%的文件。这是我怎么做的fileDF = sqlContext.jsonRDD(self.sc ....

回答 1 投票 6

Hive / S3错误:“No FileSystem for scheme:s3”

我在我的本地计算机上从容器运行Hive(此图像:https://hub.docker.com/r/bde2020/hive/)。我正在尝试使用以下命令创建在S3中存储为CSV的Hive表:...

回答 1 投票 0

如何使作业幂等于多次运行在S3中生成相同的结果文件

我使用spark df write将镶木地板文件保存到S3。场景:我运行Job1并将xyz.parquet保存到S3,我的Job2拿起xyz.parquet并将数据加载到DB。现在,我希望下次运行Job1时......

回答 1 投票 0

AWS S3和Cloudfront单个文件带宽?

我正在使用S3和cloudfront向我的用户提供视频,但有没有办法让我看到视频使用了多少带宽?我似乎无法在aws中看到它的自我,我发现......

回答 1 投票 -1

将JSON文件加载到Redshift

我试图使用copy命令将S3上的一堆JSON文件加载到redshift。 JSON文件的示例结构是:{message:3 time:1521488151 user:39283 information:{bytes:...

回答 1 投票 0

如何使用boto3在Beanstalk上运行的应用程序中验证会话

我的应用程序是通过Elastic Beanstalk部署的。它需要访问S3。我可以使用自己的访问密钥在本地进行,但我不希望在部署时将其存储在任何位置。鉴于实例正在......

回答 1 投票 1

在CloudFront访问上触发RDS lambda

我通过CloudFront从我的S3 Bucket提供静态JS文件,我想监视谁访问它们,我不希望它通过CloudWatch完成等等,我想自己记录它。 ...

回答 3 投票 0

无法在goofys挂载的文件夹中生成zip文件

我尝试使用goofys在已挂载的目录中创建一个zip文件,但是失败并显示以下错误消息:$ su - foo-user $ zip hoge.zip hoge updates:hoge zip I / O错误:操作不支持zip ...

回答 1 投票 1

如何在将文件上传到s3时处理互联网不可用?

我已经在python中编写了调度程序,以便在特定时间将文件上传到AWS S3(使用调度程序)。如果当时没有互联网连接,我收到socket.gaierror:[...

回答 1 投票 1

致命错误:发生错误(SignatureDoesNotMatch)

我正在尝试使用GitLabs DevOps功能来构建,测试和部署Vue.js应用程序到S3。我可以在我的本地机器上部署应用程序。但是在设置.gitlab-ci.yml文件时要部署到...

回答 1 投票 0

AWS S3 Sync - 结算报表GetObject(拒绝访问)

我有一个合并的结算帐户,我尝试使用S3 Sync下载结算报告。当我尝试这样做时,它会在同步目录时抛出“拒绝访问”错误。所以 ...

回答 1 投票 0

AWS S3 SDK:如何从多文件上载中的进度回调中获取文件名?

所以我使用AWS S3 Javascript SDK上传多个文件。以下代码运行良好,但我确实有一个问题。进度函数(evt)是异步调用的,我无法得到...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.