amazon-kinesis-firehose 相关问题

Amazon Kinesis Firehose是一项全面管理的服务,用于向目的地提供实时流数据

在自定义目录名称下将Firehose传输文件存储在S3中

我们主要通过Kinesis Firehose服务批量传输传入的点击流数据。我们的系统是一个多租户SaaS平台。传入的点击流数据通过Firehose存储在S3中。 ...

回答 1 投票 6

Firehose无法承担角色

我正在尝试使用Firehose API(JS)并且我一直收到以下错误:“InvalidArgumentException:Firehose无法承担角色arn:aws:iam :: XXXXXXXXXX:角色/ NAME。请检查角色...

回答 1 投票 0

Kinesis消费滞后监测

我正在尝试在流级别收集Kinesis的指标,更具体地说,想要获得工作者/消费者进程在流级别上落后的计数,我不关心...

回答 1 投票 2

AWS Athena查询分区

我正在尝试使用AWS Athena为现有平台提供分析。目前流程如下所示:数据作为JSON事件被泵入Kinesis Firehose。 Firehose转换数据......

回答 1 投票 0

使用Amazon KPL获取“流xxx的分片地图更新”失败:(AWSErrorMarshaller)遇到未知的AWSError

我正在尝试使用KPL库写入Amazon Kinesis Firehose。尽管我付出了最大努力,但每次连接和写入库的尝试都会产生以下日志:2018-09-11 15:...

回答 1 投票 0

无法将json - Dynamo db Streams复制到redshift

以下是我正在使用的用例:我在使用新旧Image创建DynamoDB时配置了启用流。我创建了一个目标为Redshift的Kinesis Firehose传输流(...

回答 1 投票 11

带有putrecord的lambda函数的AWS firehose delievery流

我正在使用Kinesis firehose交付流。我使用PutRecord API将记录放入交付流中。一个观察结果putRecord将记录作为一个参数,并在内部采取......

回答 1 投票 0

Node.js中的代码AWS Lambda Package不会调用putRecord()来将数据添加到AWS Kinesis Firehose Stream中

我已经构建了一个AWS Lambda部署包(使用Node.js),当对象进入指定的S3存储桶时执行该包。我已经将执行的代码配置为,现在,随机添加10 ...

回答 1 投票 0

亚马逊Kinesis与iOS

iOS设备可以将数据发送到Amazon Kinesis Firehose Delivery System吗? (该文档没有适用于iOS的api)如果没有,我应该使用AWS的哪个产品来创建实时数据库以支持iOS设备(...

回答 2 投票 2

如何处理AMAZON Kinesis中的静态数据?

我们如何在Amazon kinesis中处理静态数据?例如,我在excel表中有数据,我想在Kinesis中处理它们。可能吗?如果是,那么如何实现呢?

回答 1 投票 0

有没有办法在通过AWS Kinesis Firehose插入时手动设置ElasticSearch文档ID?

我将AWS Kinesis Firehose Stream设置为将数据提供给AWS ElasticSearch集群,我可以通过将文档发送到Firehose Stream来成功插入文档,然后将其加载到...

回答 1 投票 10

AWS Firehose中间S3存储桶和传输流依赖关系出现问题

为多个传输流设置一个s3存储桶是个好主意吗? (例如:考虑两个具有不同流吞吐量的传输流,s3缓冲区大小/缓冲区间...)如果两个传递...

回答 2 投票 0

Cassandra数据库上数据分析的替代方案

我们需要对Cassandra数据库执行分析和报告。以下是我们迄今已确定的方法。 1)在cassandra顶部使用火花。缺点:我们会严重...

回答 1 投票 2

kinesis代理到lambda,如何获取原始文件和服务器

我有一个kinesis代理,它将很多日志文件信息传递给kinesis流,我有一个Lambda函数来解析信息。在Lambda上除了字符串我需要知道源...

回答 1 投票 0

Kinesis Firehose演示没有分隔符; Redshift无法解析。哪个错了?

当我今天完成Kinesis,Firehose和Redshift的第一步学习步骤时,我很高兴地发现亚马逊有一个“尝试我们的演示数据生成器”设置。我很沮丧地得知它......

回答 1 投票 0

将AWS Kinesis Firehose回填到Elasticsearch Service失败的记录

我们有一个firehose将记录发送到Elasticsearch Service集群。我们的集群已经填满,一些记录未通过S3。 https://docs.aws.amazon.com/firehose/latest /上的文档

回答 1 投票 5

© www.soinside.com 2019 - 2024. All rights reserved.