Apache Avro是一个主要用于Apache Hadoop的数据序列化框架。
使用 AvroParquetReader 读取模型已经发散的文件
我想用 Java 中的 AvroParquetReader 读取镶木地板文件。文件页脚指定模型类，例如com.bigcompany.model.Foo，但是写入文件时模型对象少了一个...
Google BigQuery。使用Avro格式导入DATETIME字段
我有一个从Oracle数据库下载数据的脚本，并将其上传到Google BigQuery。这是通过写入Avro文件来完成的，然后使用BQ的python框架直接上传。...
将C Sharp中的IEnumerable<T> 序列化为Avro格式的最佳方法。
我正在开发一个C Sharp sdk，它接收IEnumerable数据，然后将其发送到一个restful API。restful API会将这些记录推送到Kafka。我已经有了schemaString（这......）。
我正在使用Avro maven插件来处理一些Avro文件并生成Java类。我的目标是告诉插件，当字段接受空值时，就生成 Optional getters，通过 ...
如何将Kafka Connect中的SourceRecord转换为AVRO？
我有一个用例，我需要将SourceRecord转换为GenericRecord。谁能帮助我如何做？基本上，我正在编写一个自定义的Kafka生产者，并将其嵌入到Connect运行时......
我有一个avro文件，我想根据一些标准来过滤掉记录，如何在阅读时从文件中删除记录？如何在读取时从文件中删除记录？ from fastavro import reader with open("D:/tempload_data.avro", 'rb'..."。
ParquetWriter或AvroParquetWriter可以单独存储模式吗？
你知道，ParquetWriter或AvroParquetWriter能不能把schema分开存储，不需要数据？现在schema被写入parquet文件。AvroParquetWriter.Builder builder = AvroParquetWriter.
XSD到Avro转换 - SchemaParseException: 不能重新定义roleNotesGroup。
我正致力于将xsd转换为avro模式的XSD片段。
序列化异常。反序列化Avro消息错误(StringIndexOutOfBoundsException)
当KafkaStream试图反序列化Arvo消息时，我遇到了这个错误。[filtering-app-6adef284-11eb-48f8-8ca0-cde7da5224ab-StreamThread-1] ERROR org.apache.kafka.streams.KafkaStreams - ...
我有一个java kafka streams应用，它消耗C#应用产生的avro事件。在C#上，它是一个内置的avro库。对于Date类型的字段，它生成的avro模式为{"..."。
是否有一个Java API可以验证所提交的文本是否是有效的Avro模式？我想可以生成一个类文件调用：java -jar pathtoavro-tools-1.9.2.jar compile schema。
如何在Kafka Schema Registry中编程注册Avro Schema？
我把数据和schema用python放到了kafka和schema注册表上，从confluent_kafka import avro from confluent_kafka.avro import AvroProducer value_schema_str = """ { "type": "record", ...
在spark < 2.4中以avro格式将数据帧写到kafka主题？
Q1. 考虑到我有一个dataframe df和一个schema myschema，我如何继续将dataframe以avro格式写入kafka topic？Q2. 如果我们不考虑udf，有什么优化的方法吗？
在Spring、Kafka和Kotlin中正确使用Avro。
在我的在线应用中：用户从浏览器点击一个按钮，该按钮对应用进行了一个 restful 调用，控制器收到 restful 调用后建立一个命令，并接受 ...
如何将Apache Ignite缓存条目写入Apache Avro文件？
我现在正在做一个任务，要求我将Apache Ignite缓存存储的数据写入Avro。不幸的是，我没有访问用于创建缓存存储对象的初始Java类。...
我正试图在avro中序列化字节数组。但是，在这个过程中我得到了ClassCastException。java.lang.ClassCastException: class [B ...
我有一个从多个主题中进行投票的消费者。到目前为止，我只产生记录到这些主题与Java和一切工作正常。我使用的confulent工具与avro。现在我试图...
如何强制avro写入时间戳在UTC在火花Scala数据帧[重复]。
我需要将时间戳字段写入avro，并确保数据保存在UTC中。目前avro在服务器的本地时区将其转换为长的时间戳（时间戳毫秒），这导致了一些问题，如...
kafka-connect org.apache.avro.SchemaParseException: 非法字符$
我使用jdbc源连接器，当我想连接一个名称中包含"$"的表时，得到以下错误。 org.apache.avro.SchemaParseException: Illegal character <.>$..; >$...
使用kafka-avro-console-producer时不需要自动注册模式。
我试图使用kafka-avro-console-producer 5.4.0-ccs而不自动注册模式。我试了一下 --producer-property auto.register.schemas=false和--property auto.register.schemas=false......。