kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

kafka标题和键值对

我遇到了kafka标题的链接。正如下面的链接讨论kafka headerhttps://cwiki.apache.org/confluence/display/KAFKA/KIP-82+-+Add+Record+Headers我可以在...中使用键/值对

回答 2 投票 0

Vert.x EventLoop线程块Inet6AddressImpl.lookupAllHostAddr

在启动kafka生产者时,我在搜索dns条目(?)时遇到非常奇怪的线程块超过4秒,异常:2019-02-11 10:00:33,982 WARN [vertx-blocked-thread-checker] .. 。

回答 1 投票 0

如何将数据发送到Node JS中的多个Kafka主题分区

在Node js应用程序中,当我尝试将消息发送到Kafka主题时,所有内容都将转到分区0.主题是使用4个分区创建的,并且想要以循环机制发布,我试过......

回答 1 投票 1

在两个不同的集群中提交事务性偏移

我们正在使用具有一次交付的处理器(通过生产者提交消费者抵消)并且需要了解在消费来自主题的消息时是否可能发生这种情况......

回答 1 投票 0

为Kafka Producer处理超时异常的准则?

由于卡夫卡制作人中的各种原因,我经常会遇到超时异常。我目前正在使用生产者配置的所有默认值。我已经看到以下超时异常:org.apache ....

回答 3 投票 3

从Java API创建Kafka主题

我正在尝试使用Java API创建Kafka主题,但获取LEADER是不可用的。代码:int partition = 0; ZkClient zkClient = null;尝试{String zookeeperHosts =“...

回答 3 投票 1

如何查看Kafka Server是否运行?

我想在开始生产和消费作业之前确保kafka服务器是否正在运行。它在 windows 环境中,这是我在 eclipse 中的 kafka 服务器代码... 属性支持...

回答 10 投票 0

无法在Ubuntu 16.04上安装rdkafka

我想安装rdkafka按照说明运行命令:sudo pecl install rdkafka我已经使用以下命令安装了pecl:sudo apt-get install php-pear php-dev

回答 1 投票 0

Apache Kafka Producer'request.timeout.ms'属性

我想了解生产者中使用的request.timeout.ms的含义。根据doc,此属性用于使等待服务器响应的记录超过...

回答 1 投票 1

Kafka主题下的消息也称为日志?

Kafka主题下的消息也称为日志? log partitions =主题消息分区? #每个主题的默认日志分区数。更多分区允许更大的#parallelism用于消费,...

回答 1 投票 0

Spark:如何在向Kafka写入数据时使用自定义分区程序

将数据写入kafka时,可以使用名为key的列来选择分区:df.selectExpr(“CAST(key AS STRING)”,“CAST(value AS STRING)”)。write .format (“kafka”)....

回答 1 投票 0

Apache Kafka中的分区数与生产者吞吐量

分区数量会对Kafka的生产者吞吐量产生影响吗? (我知道分区数是消费者方面并行度的上限,但是它会影响......

回答 1 投票 1

在Kafka-Net中没有生成消息的时间戳

我正在使用Kafka-Net nuget包为Kafka生产和消费做一个基本的POC。然而,我遇到的问题是它发布到主题的消息似乎没有任何时间戳(...

回答 1 投票 0

如何在Kafka 2中启用服务器主机名验证?

这是我的server.properties:listeners = PLAINTEXT:// localhost:9092,SSl:// localhost:9093 ssl.client.auth = required ssl.keystore.location = / home / xrobot / kafka_2.12-2.1.0 / certificate / server.keystore.jks ...

回答 1 投票 1

如何在5秒的定义时间窗口内实现Kafka Streams中的窗口化?

我正在尝试使用Kafka Streams实现窗口,其中我们从主题获得了一堆JSON格式的不同事务。对于每个事务ID,可以有多个提交(...

回答 1 投票 0

如何从邮件头中获取我的主题名称并发布

我是Spring-integration的新手。我正在尝试构建一个Spring rest服务,它将获取带有一些json消息的任何HTTP请求并发布到kafka主题。我的json消息将通过...发布

回答 1 投票 0

Kafka - 简单的消费者/生产者设置不适用于不同的机器,但在本地工作

我使用以下简单的生产者/消费者教程安装和设置Kafka:https://kafka.apache.org/quickstart我有两台机器,两者都在使用Ubuntu。恢复问题:如果......

回答 1 投票 1

无法构建kafka生产者

我正在使用Kafka版本0.11.0.0并尝试通过从avro文件加载数据来创建输入流。但它在实例化生产者时失败,例外:[main] INFO org.apache.kafka ....

回答 1 投票 0

Kafka Stream在重新平衡时重新处理旧消息

我有一个Kafka Streams应用程序,它从几个主题中读取数据,加入数据并将其写入另一个主题。这是我的Kafka集群的配置:5 Kafka经纪人Kafka主题 - 15 ...

回答 1 投票 1

Scala:无法向Kafka发送消息(托管在远程服务器上)

我正在使用Scala 2.12并且需要库将消息转换为Avro(需要转换)和kafka客户端。我正在Linux主机(dev)上运行其他应用程序(Apache ...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.