Apache Avro是一个主要用于Apache Hadoop的数据序列化框架。
[我们有一个用例，我们试图消费与架构注册表集成的多个Kafka主题（AVRO消息）。我们正在使用Spark结构化流（Spark版本：2.4.4），Confluent ...
我正在尝试根据此处的示例构建自定义的http转换器。 kafka活页夹源代码是从这里开始的，我在SCDF中使用kafka作为活页夹。情况是调用http时，我会解析...
为什么在Confluent的Schema Registry中使用Subject？
我开始使用Confluent Schema Registry。我意识到每个主题只有一个架构。注册表中实体Subject的确切用途是什么，不仅仅是一个架构，...
Avro Java SpecificDatumReaders是否可重用？
重用SpecificDatumReaders的最佳实践是什么？今天，我正在创建一个新的SpecificDatumReader来反序列化每个记录，但是这会导致很大的GC压力，并且...
我正在使用Avro / Kafka和Confluent的Schema Registry for Avro。我使用avsc文件和avdl制作了一些具有基本类型的基本架构和主题。我正在查看API的文档...
我正在构建一个从Kafka接收数据的应用程序。当使用Apache（https://pypi.org/project/avro-python3/）提供的标准avro库时，结果是正确的，但是......>
我从使用python的客户端获取消息，但是在使用python的服务器上没有消息？
当我编写此代码并将其在桌面上运行时，它可以工作。从kafka导入KafkaConsumer消费者= KafkaConsumer（'ersin_test'，group_id ='eg61-group'，...
如何从Java使用者的主题消息中从架构注册表中检索AVRO架构
我们正在使用具有架构注册表的Confluent Kafka。我们有40多个主题。我们的应用程序使用注册表中的模式将avro消息写入这些主题。据我了解，...
如何在nodejs中使用avro模式验证json，它可以返回发生数据错误的错误列表
下面是使用avro-js模块为nodejs中的avro模式验证json的代码段。 //导入模块var avro = require（'avro-js'）; // avro模式的路径var type2 = avro.parse（'。/ ...
我是Maven新手，一直在教程和Web上寻找有关如何从模式文件.avsc构建.avro的文档。基于apache.maven.org站点上的文档。我必须...
java.lang.NoClassDefFoundError：io / confluent / connect / avro / AvroConverterConfig
kafka2.12-2.4.0 confluent5.4.1我正在尝试使用Confluent的Schema-register。但是当我启动模式注册和连接分布式时。连接日志未报告错误。 connect-avro-distributed ....
如何通过数据内容从Azure Data Lake Gen2中选择Avro文件的子集
我在启用了捕获功能的事件中心服务发送的Azure Data Lake Gen2存储中有很多Avro文件。这些Avro文件包含来自不同传感器和引擎的数据。 ...
我使用Kafka Connect HDFS Sink提取了HDFS中保存的AVRO文件。这是架构注册表项的一部分：{“ name”：“ TAX_RATE”，“ type”：[“ null”，{“ type”：“ ...
我正在尝试将枚举值序列化为Avro消息并将其发送。该架构是使用以下架构构建的：Schema myschema = SchemaBuilder.record（“ com.testing.schemas”）。fields（）.name（“ enumTest”）。type（）....
通过CLI从存储桶通过CLI将AVRO加载到具有日期分区的BigQuery中
我正在尝试通过具有日期分区的AVRO将数据导入BigQuery。通过cli导入时，与分区日期有关的错误必须是日期或时间戳，但它获取的是整数。 ...
是否有一种方法可以从Apache Spark生成更少的Avro？我可以看到一种使用apache avro库通过Java / Scala以及通过融合的avro生成它的方法。当我在...
我在具有value_format ='AVRO'的Kafka主题（myKafkaTopic）的顶部有一个用KSQL（Confluent Cloud）内置的Stream-主题架构有2个数组（UOM和VENDORS）。 UOM具有字段（MEINH UMREZ ...
问题我想将如下所示的普通Json文件转换为avro架构，以使其在具有融合架构注册表的apache kafka中工作。输入示例（Json）[{“ name”：“ Robin Hood”，...
我目前在Avro JsonDecoder中遇到问题。 Avro在版本1.8.2中使用。 .avsc文件的定义如下：{“ type”：“ record”，“ namespace”：“ my.namespace”，“ name”：“ recordName”，“ fields”：[...
我正在尝试使用python将十进制值写为avro。该代码可以正常工作，没有十进制值。如果添加十进制值，则会出现AvroTypeException：数据{blah}不是示例...