使用UDP将传感器数据发送到apache Kafka

Question

在我的系统中，有许多传感器生成数据。我希望他们直接将生成的数据发送到Kafka，而不会干扰网络编程。

据我所知，Kafka（Confluent版本）支持HTTP用于此类情况，但我的传感器不使用Http协议发送数据，并且它们有自己的协议。

现在我的问题是：

1. Kafka收到（了解）哪个网络布局数据抽象？我的意思是它可以接收二进制（物理网络布局数据）或更高数据抽象布局的数据，如Datalink布局，网络布局，......
2. 这是直接向Kafka发送数据的方式吗？
3. 如果没有，是否可以自定义Kafka源代码以适应这种情况？

通常，是否可以使用UDP协议将数据从传感器发送到Kafka？

Answer 1

您可以实现一个消耗您的格式的KafkaProducer，或者将您的格式转换为合适的文本格式并将其输入到Kafka的通用kafka-console-producer.sh中。

Answer 2

您可以在节点中使用桥接到Kafka，将这些消息转换为Kafka可以理解的内容（类似于信封）。

您可以在Github中找到此类软件的实现

https://github.com/agaoglu/udp-kafka-bridge

这个用于将系统日志消息发送到Kafka主题。