avro 相关问题

Apache Avro是一个主要用于Apache Hadoop的数据序列化框架。

在模式注册表中,消费者的模式可能与生产者的模式不同,实际上它意味着什么

在向Kafka生成AVRO数据时,Avro序列化程序在写入数据时使用的字节数组中编写相同的模式ID。 Kafka Consumer基于...从Schema Registry获取架构。

回答 1 投票 0

Avro不提供向后兼容性

我需要通过流发送数据,因此我选择Avro进行数据序列化和反序列化。但是现有的使用avro阅读器的实现,不支持向后兼容性。写......

回答 2 投票 0

avro格式,寻求一个位置或通过python跳过行

我正在使用Apache Avro 1.8.2来读取大型avro文件。但是,我想跳过第一个'N'记录或用5个线程处理文件的各个部分。有没有简单的方法来寻求......

回答 1 投票 3

Avro序列化和反序列化List

我无法理解如何将List序列化为二进制格式并反序列化回List。我试图使用CustomEncoding用于此目的:公共类ListUUIDAsListStringEncoding扩展...

回答 1 投票 1

如何使用Spring-Kafka使用Confluent Schema注册表读取AVRO消息?

如何使用Spring-Kafka使用Confluent Schema注册表读取AVRO消息?有样品吗?我在官方参考文件中找不到它。

回答 2 投票 3

从Java对象创建Avro字符串

我正在构建一个MapR-ES Java生成器,它通过JDBC连接到Oracle并获取结果集以发布到流中。我想将我填充的类对象序列化为Avro字符串...

回答 1 投票 0

Avro将二进制编码为文件

Avro工具tojson命令转义二进制值。这是一个例子:{“bytes”:“\ u0000 \ u0000 \ u0000 \ u0000 \ u0002 \ u0000 \ u0000 \ u0000 \ u0002 @ ol \ u0000 \ u0000 \ u0000 \ u0000 \ u0000 @f¸\ u0000 \ u0000 \ u0000 \ u0000的\ u0000的@ ...

回答 1 投票 0

发生异常主题未找到错误代码 - 汇合

我可以在日志中看到一个错误,即名称为A.Abc-key的主题不存在。我列出了所有主题,并确认A.Abc-key不存在但A.Abc值存在于检查...

回答 1 投票 0

是否可以在Avro架构中有一个可选字段(即该字段在.json文件中根本不显示)?

是否可以在Avro架构中具有可选字段(即该字段在.JSON文件中根本不显示)?在我的Avro架构中,我有两个字段:{“name”:“author”,“type”:[“null”,“...

回答 1 投票 9

将可以为空的项目写入Avro C中的avro记录

架构:const char schema [] =“{\”type \“:\”record \“,\”name \“:\”foo \“,”“\”fields \“:[”“{\”name \ “:\”nullableint \“,\”type \“:[\”int \“,\”null \“]}”“]}”;设置架构:...

回答 1 投票 1

从avro架构创建hive表时出错

我试图通过从存储在s3中的Avro数据中提取模式来创建一个配置单元表。使用s3 Kafka连接器将数据存储在s3中。我正在向制作人发布一个简单的POJO。 ...

回答 1 投票 0

Kafka架构注册表的架构问题

我知道我带着任何消息来找你,但我无法解决一个可能是我的错的问题,实际上我无法意识到解决方案是什么。我正在使用Confluent平台的独立安装(...

回答 1 投票 0

Confluent JDBC连接器和Flink消费者

我们正在尝试将SQL-Server JDBC Connector与KafkaAvroSerializer一起使用,并在将数据发送到Kafka之前提供Customized ProducerInterceptor来加密数据。在消费者方面,我们想要使用......

回答 1 投票 0

Kafka - 您可以在主题存在之前创建模式以及它是什么关系?

是否有必须遵循的订单 - 例如person应首先创建一个主题,然后在模式注册表中创建模式,反之亦然?两个主题可以使用Schema Registry中的相同模式吗?是......

回答 1 投票 1

Kafka Stream with Avro in JAVA,schema.registry.url“没有默认值

我有我的Kafka Stream应用程序的以下配置属性config = new Properties(); config.put(StreamsConfig.APPLICATION_ID_CONFIG,this.applicaionId); config.put(...

回答 1 投票 2

如何在kstreams中生成主题的avro格式数据

KStream left = builder.stream(“source1”); left.toStream(“soure2”)想要在发送到source2之前序列化

回答 1 投票 0

使用kafka-avro-console-consumer将Avro记录为二进制数组

我有一个Kafka Producer,它将Avro记录发送到“测试”主题。我还有一个Schema Registry,其中存储了每个记录的模式。之后,我使用命令kafka-avro-console-consumer -...

回答 2 投票 0

如何从kafka avro记录生成pojo?

我有一个User类,我将它作为avro(使用Confluent avro序列化程序和模式注册表)将其发布并发布到Kafka主题。我让消费者 将数据打印到控制台,它工作正常。 ...

回答 3 投票 2

使用kafka-avro-console-consumer消耗spring spring stream kafka发送的avro消息时出错

我尝试使用我本地安装的汇合4.0.0的官方模式 - 注册表 - 汇合示例(使用者/制作者),它可以在发送发送请求时发送“sensor”avro消息并在侦听器中接收,但是...

回答 1 投票 0

在HDFS上仍然打开编写器时获取文件大小

我正在尝试轮询temp的文件大小。从Kafka主题写入HDFS的avro文件,但是org.apache.hadoop.fs.FileStatus保持返回0字节(.getLen()),而编写器是......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.