kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

td-agent fluentd无法向Kafka发送消息

我有一个td-agent向Kafka队列发送消息没有问题。但现在我收到以下错误。我重新启动了代理,没有运气。我手动冲洗缓冲区没有运气。关于......的任何建议

回答 1 投票 0

当我重新启动我的kafka经纪人时,为什么或如何丢失一些消息?

我在单节点中运行kafka,我希望在关闭我的kafka代理时看到kafka Producer行为然后我在几个secondes中重启我的代理,所以我创建spring boot projet我可能会...

回答 1 投票 0

Kafka实时流媒体与微服务

选择Kafka进行实时流式传输是否需要以gbps为单位的最低消息速率?我们能否在Kafka处理真正低的消息率?

回答 1 投票 1

在scala中创建自定义生成器时出错

我使用scala在Kafka中为自定义生成器编写了一个小代码,它给出了以下错误。我在代码部分附加了代码。我附上了一些代码供参考。名称:编译......

回答 2 投票 0

当从多个源插入源主题中的记录时,Kafka源连接器不会按预期拉动记录

在我的一个用例中,我试图创建一个管道,每当我从自定义分区发送消息时,我发送时间戳以毫秒为单位,使用LONG数据类型,因为在架构中,时间戳...

回答 1 投票 0

使用消费者/生产者API的Kafka的Spring Cloud Stream恰好一次具有transaction-id-prefix的语义不能按预期工作

我有看到不同行为的场景。像总共3个不同的服务一样,第一个服务将从Solace队列中侦听并将其生成到kafka topic-1(启用事务)...

回答 1 投票 0

kafka生成主题并在单个事务中写入状态存储

是否可以生成Kafka主题并在单个事务中写入状态存储?但不要将事务作为主题消费的一部分启动。编辑:我这样做的原因是......

回答 2 投票 0

Kafka控制台生产者不允许写消息

我试图在主题上写一些消息,但是控制台不允许我(生产者不等待stdin输入)。我也看不到任何错误日志。主题已成功创建。我在用 : ...

回答 4 投票 1

卡夫卡制片人表现不佳

我和kafka制作人有问题。其实我正在使用spring kafka,并通过KafkaTemplate发送消息:默认KafkaProducerFactory defaultKafkaProducerFactory = new ...

回答 2 投票 0

为什么kafka-avro-console-producer不支持该字段的默认值?

虽然默认是为字段定义的,但kafka-avro-console-producer完全忽略它:$ kafka-avro-console-producer --broker-list localhost:9092 --topic test-avro \ --property schema.registry .. ..

回答 2 投票 1

Spring Cloud Stream Kafka消费者/生产者API恰好一次语义(事务性)

具有事务启用和动态目标的Spring Cloud Stream Kafka存在问题。我有两个不同的服务第一个服务将从Solace队列中侦听并将其生成到kafka topic-1(...

回答 1 投票 0

Kafka制作人使用HiveStorageHandler

我对hive / hadoop比较新,我正在阅读这个Hive存储处理程序。现在我正在尝试编写HiveStorageHandler的自定义实现来查询和推送消息给Kafka ...

回答 2 投票 0

如何通过Alpakka创建多个分区

我正在尝试创建一个简单的生产者,它创建一个由配置提供的一些分区的主题。根据Alpakka Producer Setting Doc的任何属性来自org.apache.kafka.clients ....

回答 2 投票 0

使用KafkaProducer使用标头向Kafka发送消息

我正在尝试创建一个简单的实用程序来向Kafka发布消息,但需要传递标题以及消息。该实用程序没有标题工作正常,但在尝试发送标题时...

回答 1 投票 0

物联网 - 多个Kafka生产者将消息发布到同一主题

我正在尝试开发基于IoT的应用程序,其中多个设备将生成数据并将其发送到Kafka代理。这些设备的可能数量约为60-70万。那里 ...

回答 2 投票 1

了解Kafka主题和分区

我开始学习Kafka用于企业解决方案。在我的阅读过程中,我想到了一些问题:当一个制作人正在制作一条消息时 - 它将指定它想要发送的主题......

回答 3 投票 93

Scala:如何捕获通过Kafka异步发送的所有多条消息的状态?

我正在使用Scala将消息发布到Kafka。我有发布到kafka的消息列表,可能是异步的。但是,最后,如果在发布至少一条消息时出现任何错误,...

回答 1 投票 0

在JAAS或Kafka配置中没有定义serviceName(不是Kerberos)

我正在尝试配置kafka客户端以对安全的kafkaserver进行身份验证。我已经设置了jaas和ssl配置,但它抱怨serviceNames。我没有使用Kerberos。命令......

回答 1 投票 2

领导者改变后,春天kafka消费者不承诺kafka服务器

我正在使用spring-kafka 2.1.10.RELEASE。我有一个使用下一个属性的消费者(几乎复制了所有属性):auto.commit.interval.ms = 5000 auto.offset.reset = earliest bootstrap.servers = ...

回答 1 投票 2

卡夫卡消费者错误

我正在使用kafka制作人和Spring kafka消费者。我正在使用Json序列化器和反序列化器。每当我尝试从主题中读取消费者中的消息时,我会收到以下错误:org ....

回答 2 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.