amazon-kinesis 相关问题

使用SQS进行类似运动的分片？

我有兴趣用SQS替换Kinesis（因为它很昂贵，并且我不需要历史记录），但是我需要一种分片/分区机制，特别是在使用Lambda处理时。我看到了...

如何依次合并HLS流

我有一个每12小时到期的HLS流，并生成一个新链接。如何创建一个静态HLS流？我想到的一个想法是保持刷新流并将其转发到...

[基于值超过阈值时不触发的运动学指标的Cloudwatch警报

问题描述我们有一个AWS Cloudwatch警报，它很明显超过了正在监视的指标图中指示的阈值行，但没有触发。这里发生了什么？ ...

使用PutRecords将多个记录加载到Kinesis-如何在失败的情况下仅重新发送失败的记录？

我正在使用Lambda将数据记录加载到Kinesis中，并且通常希望添加多达500K条记录，我将它们分成500条，然后使用Boto的put_records方法将它们发送到Kinesis。我...

KCL不处理来自AWS kinesis流的三个分片中的两个分片的记录

我们有一个包含三个碎片的运动流，而我们的运动应用程序具有三个实例。我们可以看到记录已发布到我们所有的三个分片中，但是我们的运动学应用程序可以...

如何将CloudWatch指标数据发送到运动数据流

我正在尝试将性能数据（例如内存，磁盘空间，CPU利用率数据点）发送到运动数据流。为了做到这一点，我在EC2实例上安装了CW代理，并创建了CW日志...

software.amazon.kinesis和com.amazonaws有什么区别？

我正在尝试创建一个从Kinesis数据流读取的应用程序。 MVN存储库包含software.amazon.kinesis：amazon-kinesis.client和com.amazonaws：amazon-kinesis-client。什么是...

[使用Spring Boot构建的AWS Kinesis使用者的集成测试

我们正在研究使用Spring Boot开发的Micro服务，该服务使用Kinesis流中的数据处理数据，然后将其存储在DB中。我们有良好的JUnit Mockito测试覆盖率。现在，我们需要...

如何保持Flink运动消费者的幂等性？

我有一个用例，其中，我通过EMR上运行的flink作业（使用flink-kinesis连接器）使用了运动学流中的事件。作业接收事件，对其进行处理并将其下沉到某个数据存储中。...

如何使使用者停止使用春季云运动流中的消息

我正在寻找一种解决方案，以在下游服务关闭时暂停应用程序本身的运动流中的消息使用。我正在使用spring-cloud-stream-binder-kinesis。有...

仅当记录数超过x时才启动Kinesis使用者吗？

有没有一种方法可以创建具有缓冲区限制的Kinesis使用者？就像这里一样：＃当缓冲区超过100000个Amazon Kinesis记录，64 MB大小限制或自上一个缓冲区以来的时间超过1小时时刷新...

AWS Kinesis Analytics-GROUP BY投放中

我需要有关AWS Kinesis Analytics功能的一些帮助。我有一个包含以下数据的流：hubId（Integer）datetime（timestamp）fid（varchar）path（varchar）我想汇总这些...

抵制BigQuery垃圾邮件

我具有以下软件组件：Amazon Kinesis事件流示例事件表：产品购买事件BigQuery db接收+存储事件示例查询：SELECT count（*）as count，...

Kinesis Consumer使用KCL时需要哪些IAM权限？

我有一个使用Kinesis Client Library（KCL）编写的Kinesis使用者。该使用者正在假定的IAM角色下运行。我从文档中了解到：KCL创建了DynamoDB ...

将PutRecords直接发布到kinesis API，而无需（真实）身份验证

我想通过https API将来自移动应用程序的PutRecords请求直接发送到AWS Kinesis数据流中。我不想使用API 网关，也不想在应用程序中捆绑秘密访问密钥。我...

什么是单调列？

我已经在这里阅读定义https://docs.aws.amazon.com/kinesisanalytics/latest/sqlref/sql-reference-monotonic-expressions-operators.html，但是我仍然不清楚。我了解...

缠有运动学交错窗口

我设置了运动学分析应用程序，该应用程序从具有以下模式的运动学流中获取数据。 --------------------------列ColumnType ---------------------- ---- ...

用于Lambda / Kinesis事件源映射的Cloudformation`StartingPositionTimestamp`

我正在通过事件源映射将Kinesis流连接到Lambda函数，想将StartingPosition值设置为AT_TIMESTAMP-https：//docs.aws.amazon.com/AWSCloudFormation/latest / ...

正确的Kinesis流主体

在将Kinesis流指定为AWS中的主体时应使用什么主体？具体来说，我想在CloudFormation中编写一个AWS :: Lambda :: Permission资源：该lambda将被触发...

连接kinesis生产者AWS kinesis 443时出错。