amazon-kinesis 相关问题

Amazon Kinesis是一种全面管理的服务,用于大规模实时处理流数据。

java lambda 上的 Localstack (AWS) 凭证失败

这个 lambda 的目的是在 kinesis 数据流上插入存储桶内容,代码如下: 封装生产商; 导入软件.amazon.awssdk.services.s3.*; 导入软件.amazon.awssdk.serv...

回答 1 投票 0

无法从 Kinesis Consumer 触发 Lambda

我有一个 lambda,它通过 Kinesis Data Stream 从 DynamoDB 表消耗近乎实时的更新。我还创建了一个流消费者,lambda 从中消费数据。当我尝试部署时...

回答 1 投票 0

AppSync 与 Kinesis 集成

我有一个使用 Kinesis 数据分析处理和聚合实时数据的用例。 是否可以直接从 Appsync 将数据发布到 kinesis 流(无需中间 lambda)? 还有

回答 1 投票 0

AWS Kinesis 启动等待时间长

我正在使用 AWS Kinesis 和 Spring Cloud 从数据事件中心读取数据。部署结束,日志如下: 2023-09-26 14:07:30.476 信息 [,,] 9331 --- [esis-consumer-1] a.i.k.

回答 1 投票 0

Amazon Kinesis、Lambda 和 DLQ - 如何在大流量场景下正确从 DLQ 获取负载内容

Kinesis DLQ 不包含有效负载,仅包含元数据。您应该通过调用 GetRecords 来读取有效负载,就像在这个 SO 问题中一样。 我的设置如下: 应用程序 --> Kinesis Data Strea...

回答 1 投票 0

Firehose 转换输出的格式化

我正在使用 AWS Kinesis Firehose 和自定义数据转换。 Lambda 使用 Python 3.6 编写,返回如下所示的字符串: { “记录”: [ { ”

回答 4 投票 0

在 AWS Kinesis 中看不到数据

我在 AWS Kinesis 中创建了一个流,简单明了: 我将记录放入流中(我从 AWS 文档中获取了脚本): 导入日期时间 导入 json 随机导入 导入boto3 STREAM_NAME = ...

回答 1 投票 0

Kinesis Firehose - 在转换记录时拆分为多个记录

是否可以选择在 Kinesis Firehose 中进行转换期间从单个输入记录创建多个记录并以 parquet 格式存储在 S3 中? 例如: { "key1": "值1&

回答 1 投票 0

Kinesis KCL 未从所有分片中提取记录

我已经配置了具有 4 个分片的 Kinesis 流,并作为使用者实现了 KCL 库版本 1。消费者仅从一个分片中提取记录(shardId-000000000000)。我也注意到了...

回答 1 投票 0

为什么无法识别 Kinesis Video Stream 的流名称(从 Amazon Connect 触发)?

在 Amazon Connect 中,我创建了一个带有 Start Streaming Data 块的流。我已验证呼叫会通过 Kinesis Video Streams 触发实时音频流。请参阅下面的 ARN(通过调用 AW 捕获...

回答 2 投票 0

IllegalArgumentException:需要 KinesisClient 中第 1 行的配置文件定义

我正在使用Java中的AWS SDK 2.x创建KinesisClient类的对象,如下所示 AwsCredentialsProvider凭据提供程序 = StaticCredentialsProvider.create( AwsBasicCredentials.create(&...

回答 2 投票 0

Flink 应用程序未接收和处理 Kinesis 连接器关闭时生成的事件

问题:Flink 应用程序无法接收和处理 Kinesis 连接器关闭时(由于重新启动)生成的事件 我们有以下 Flink 环境设置 环境

回答 3 投票 0

如何在Javascript SDK中解码来自kinesis.getRecords的数据?

我正在尝试从 Kinesis 数据流获取数据: 函数 getRecord(shard_iterator) { var getRecParams = { 分片迭代器:shard_iterator }; kinesis.getRecords(getRecParams,

回答 2 投票 0

在 Terraform 中添加 API 映射模板

我想在 AWS API Gateway 的集成请求中添加标头(内容类型)和映射模板。在学习本教程时,我可以通过控制台轻松添加这些参数。

回答 1 投票 0

是否有 Kinesis Video Streams 客户端从 Amazon Connect 提取实时音频块并推送到磁盘或网络的示例?

Amazon Connect 提供了实时音频流实时转录的示例(使用 Java)。然而,在该示例中,读取和转录音频块的逻辑是紧密交织的。 什么...

回答 2 投票 0

新连接错误:<botocore.awsrequest.AWSHTTPSConnection object at 0x7f17c56ebe80>

我正在 Ec2 实例中运行类似的脚本: https://github.com/aws-samples/kinesis-poster-worker/blob/master/poster.py 这是我的完整脚本: https://gist.github.com/nhammad/

回答 1 投票 0

为什么 Kinesis Streams Data Viewer 在通过 Amazon Connect 联系流进行呼叫后不显示任何代理事件?

问题:为什么我在数据查看器中看不到附加到 Amazon Connect 实例的 Kinesis Stream 的代理事件? 这是我所做的: 创建了 Kinesis 流。称之为 amzn-conn-agent-

回答 1 投票 0

如何通过指定开始和结束时间戳,使用 kinesis 或 kafka 中的 databricks 读取历史数据?

可以说我想读取2023年3月8日至2023年3月14日期间到达的数据 有没有一种方法可以定义结束位置以及下面的初始位置。 Spark.readStream.format...

回答 1 投票 0

Kinesis Firehose 拒绝 Lambda.InvokeAccess

我正在尝试使用 Firehose 传输流设置 Lambda 转换。我为 Firehose 定义了一个 IAM 角色,其中包括以下策略文档: { “陈述”: { ”

回答 4 投票 0

AWS Lambda 似乎在完成之前退出

我有一个非常简单的 lambda 函数(nodeJS),它将接收到的事件放入 kinesis 流中。这是源代码: '使用严格'; const AWS = require('aws-sdk'); const kinesis = ne...

回答 4 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.