我需要使用Apache Storm spout读取到达S3的新文件。 Apache Storm是否有直接从S3读取数据的spout?我试图找到一个直接从S3接收数据的spout,并研究如何使用Amazon Kinesis进行解决方法,但我需要一个直接的方法。
我不认为有这样的事情。我将看一下AWS与SNS / SQS的S3集成。创建一个从SQS读取的spout应该是微不足道的。
https://docs.aws.amazon.com/AmazonS3/latest/dev/NotificationHowTo.html