Amazon Kinesis Firehose至S3

问题描述投票：-1回答：1

我被要求编写代码以使用Amazon Kinesis Firehose将.csv文件发送到S3。但是作为一个从未使用过Kinesis的人，我不知道该怎么做。您可以为此提供帮助吗，或者如果您有执行此工作的代码，它也可以提供帮助（Java或Scala）。

csv数据应发送到Kinesis Firehose，以使用Firehose客户端应用程序以gzip格式写入S3存储桶。

提前感谢。

java

scala

amazon-web-services

amazon-s3

amazon-kinesis

1个回答

0
投票

[首先，Firehose正在流式传输以将一条（或多条）记录发送到目的地，而不是文件传输，例如将csv文件复制到S3。如果需要将文件从某处复制到S3，则可以使用S3 CLI命令。

因此，请首先确保您需要做的是流式传输或文件复制。如果不是流媒体，那我不知道为什么选择Firehose。

您可以使用多个输入源。首先最好决定使用哪种方式。

如果使用JAVA + AWS SDK，则可能是调用PutRecord API的方式

如果您可以使用AWS Amazon Linux将数据发送到Firehose，Firehose Agent将变得更加容易。它仅监视文件，并且可以将增量发送到S3。