Apache Avro是一个主要用于Apache Hadoop的数据序列化框架。
我有许多微服务在Kafka中读/写Avro消息。架构很棒。 Avro很棒。但是真的需要架构注册表吗？它有助于集中架构，是的，但做微服务......
我们计划从kafka主题名称中删除版本。目前，相关消息的模式版本构成主题名称的一部分。但是将来我们会有大量的小变化...
我试图将xml文件转换为avro，然后转换为镶木地板文件格式，而不使用大数据工具。我能够将其转换为avro，但在此之后出现错误：线程中的异常“...
我正在使用Avro架构将数据写入Kafka主题。最初，一切都很好。在avro文件中再添加一个新字段（scan_app_id）之后。我正面临这个错误。 Avro文件：{“type”：“...
如何使用Avro（schemaRegistry）对Kafka Streams进行功能测试？
我想要实现的简要说明：我想对avaf记录进行kafka流拓扑（使用TopologyTestDriver）的功能测试。问题：无法“模拟”schemaRegistry自动化...
PySpark：反序列化eventhub捕获avro文件中包含的Avro序列化消息
初始情况AVRO序列化事件被发送到azure事件中心。使用azure事件集线器捕获功能持久存储这些事件。捕获的数据以及事件中心元数据是......
如何忽略Kafka Streams应用程序中的某些类型的消息，这些消息从同一主题读取和写入不同的事件类型
假设Spring Cloud Stream应用程序根据订单主题创建KStream。它对OrderCreated {“id”：x，“productId”：y，“customerId”：z}事件感兴趣。一旦到达，它就会处理......
将Spark Structured Streaming与Confluent Schema Registry集成
我在Spark Structured Streaming中使用Kafka Source来接收Confluent编码的Avro记录。我打算使用Confluent Schema Registry，但是与spark结构化流媒体的集成似乎......
我从github克隆了一个项目，现在把它打开作为IntelliJ中的一个项目。该项目是用Scala编写的。该项目依赖于另一个avro架构中定义的一些对象......
Kafka连接器和架构注册表 - 错误检索Avro架构 - 未找到主题
我有一个主题，最终会有很多不同的模式。现在它只有一个。我通过REST创建了一个连接作业，如下所示：{“name”：“com.mycompany.sinks.GcsSinkConnector -...
Apache Avro提供紧凑，快速的二进制数据格式，丰富的数据结构用于序列化。但是，它需要用户为需要序列化的对象定义模式（在JSON中）。在......
使用ConfluentSchemaRegistry反序列化avro数据时出现异常？
我是flink和Kafka的新手。我试图使用Confluent Schema注册表反序列化avro数据。我已经在ec2机器上安装了flink和Kafka。此外，已创建“测试”主题...
如何在汇合kafka C＃中读取GenericRecord特定数据
这是我的简单代码片段，它试图读取消费者的Avro通用记录表单：using（var schemaRegistry = new CachedSchemaRegistryClient（new SchemaRegistryConfig {SchemaRegistryUrl = ...
如何在达到特定大小（128 Mb）时将Kafka消息提交到HDFS接收器
我的配置：Confluent（5.0.0）Kafka生成一些avro消息。 Connect worker（HDFS连接器接收器）将这些消息以Parquet格式传输到HDFS节点。我配置连接工作者提交...
org.apache.kafka.connect.errors.DataException：数组默认值的JSON无效：“null”
我正在尝试使用confluent-4.1.1来使用汇合的Kafka s3连接器。 s3-sink“value.converter.schema.registry.url”：“http：// localhost：8081”，“value.converter”：“io.confluent.connect.avro ....
最近我正在编写用于将数据推送到elasticsearch的映射器。我的输入是avro对象，我试图转换为Json。一切都很好，但我在json中获得命名空间，其中......
Spring Cloud Stream Kafka Stream与本机Kafka Stream应用程序和生产者之间不兼容的Avro消息
验证这一点的示例应用程序可以在https://github.com/codependent/event-carried-state-transfer/tree/avro kafka-xxx中找到：本机应用程序spring-boot-xxx：Spring Cloud Stream ...
Apache Avro ThreadLocal对象在Tomcat取消部署时徘徊不前
我们使用Apache Avro作为我们的Python应用程序和我们在Tomcat服务中运行的一些第三方Java库之间的JSON接口。我们决定简单地扩展org.apache.avro.ipc ....
在阅读了Apache Flume以及它在处理客户端事件方面提供的好处之后，我决定是时候开始更详细地研究它了。另一个好处似乎是......
Kafka spring boot应用程序生产商无法用Kafka Sink Connector和Avro格式反映出来
我的目标是我有春天启动应用程序kafka生产者与Avro序列化属性，我除了推送到相应的主题，应该通过汇合Sink访问的消息...