avro 相关问题

Apache Avro是一个主要用于Apache Hadoop的数据序列化框架。

具有记录数组类型的嵌套Avro记录反序列化

我正在编写代码，通过使用POJO的数组类型记录对其中的数组类型的嵌套嵌套记录进行反序列化，并在POJO主类中作为列表进行反序列化。但是我不是...

java apache-kafka deserialization avro

回答 1 投票 0

无法使用火花结构化流反序列化avro消息，其中键已字符串化，值是avro

使用Spark 2.4.0 Confluent schema-Registry接收模式消息Key在Avro中的String和Value中被序列化，因此我试图使用io.confluent.kafka来仅反序列化Value。

apache-spark apache-kafka avro spark-structured-streaming confluent-schema-registry

回答 1 投票 0

未使用布尔值的默认值

我有一个这样的avro模式，其中我捕获了以boolean表示的十进制值，我想将默认值设置为true，因此我提出了以下avro模式。 {“ namespace”：“ abc”，“ ...

boolean default avro

回答 1 投票 0

序列化Avro消息时出错-Kafka Schema Registry

我正在创建一个Avro类，其中包含一个字符串和一个映射作为字段。我可以通过maven生成avro类，并且能够在localhost：8081 .avsc文件中创建注册表：{“ type”：“ ...

java apache-kafka avro confluent-schema-registry

回答 1 投票 0

Kafka使用者：如何在Python中读取特定的Avro字段？

在使用者的以下摘要中，我能够接收发送的数据。我如何从整个数据中访问特定值以进行处理。从confluent_kafka导入KafkaError，从...

python apache-kafka kafka-consumer-api avro confluent-kafka

回答 3 投票 0

如何在Avro架构中同时将类型设置为“记录”和“空”？

我正在尝试同时将类型设置为record和null。不知道有没有可能这是我的输入json {“ request”：{“ reqNo”：null}，“ dataset”：{“ id”：“ 1”，“ ...

json null apache-nifi avro avro-tools

回答 1 投票 0

Kafka制作人-如何在不停机的情况下更改主题并保留消息顺序？

此问题与架构和kafka主题的迁移有关。原始问题：没有向后兼容性的架构演化。 https://docs.confluent.io/current/schema-registry/avro.html我是...

avro messaging kafka-producer-api

回答 1 投票 2

GenericRecord的Avro模式：可以保留空白字段

我正在使用Java将JSON转换为Avro，然后使用Google DataFlow将其存储到GCS。 Avro架构是在运行时使用SchemaBuilder创建的。我在模式中定义的字段之一是可选的...

java google-cloud-dataflow avro apache-beam

回答 2 投票 0

将avro作为字节数组写出，然后将其读回时遇到麻烦

我刚开始使用Avro，并遇到了一个问题，该问题为想要将数据读取为一系列字节的进程生成测试数据。当我查看一系列字节时...

java serialization schema avro

回答 1 投票 0

消息不以魔术字节开头

我正在尝试使用Go中的/ linkedin / goavro包将avro编码的数据生成kafka主题。目的是能够使用不同的客户端来消费主题。首先，我将模式注册为...

go apache-kafka avro confluent-schema-registry sarama

回答 1 投票 0

消息不是以魔术字节开头-Golang kafka avro生产者

我正在尝试使用golang中的/ linkedin / goavro包将avro编码的数据生成kafka主题。目的是能够使用不同的客户端来消费主题。首先，我将模式注册为...

go apache-kafka avro confluent-schema-registry sarama

回答 1 投票 0

选择序列化框架

我正在阅读使用Java序列化的弊端，以及使用序列化框架的必要性。有很多框架，例如avro，镶木地板，节俭，protobuff。问题是...

serialization protocol-buffers avro parquet thrift

回答 1 投票 -2

没有模式注册表的Node.js avro序列化，然后在Kafka流中反序列化

我想就以下问题寻求指导。我正在尝试学习如何使用不带架构注册表的nodejs执行Avro数据的序列化，并将其发布到Kafka集群，然后...

deserialization avro apache-kafka-streams node-kafka

回答 1 投票 0

Scala：从Spark结构化流中读取Kafka Avro消息时出错

我一直在尝试从Scala 2.11的Spark结构化流（2.4.4）中读取Kafka的avro序列化消息。为此，我使用了spark-avro（下面的依赖项）。我生成kafka ...

scala apache-spark apache-kafka avro spark-structured-streaming

回答 1 投票 0

定义Avro架构

我有一些这样的avro数据打印在终端上。 {“ cust_status_id”：0，“ cust_status_description”：{“ string”：“ Approved”}}我创建的avro模式类似于{“ namespace”：“ ...

avro

回答 1 投票 0

如何从融合架构注册表中以编程方式获取chema

截至目前，我正在做类似此操作的读取avsc文件以获取架构value_schema = avro.load（'client.avsc'）的事情，我可以做一些事情来使用主题名称从融合架构注册表中获取架构吗？ i ...

python apache-kafka avro confluent-schema-registry

回答 2 投票 1

如何从合计架构注册表中获取架构

python apache-kafka avro confluent-schema-registry

回答 1 投票 1

如何从合计架构注册表中获取架构

如何使用python从融合架构注册表中获取架构截至目前，我正在做类似读取avsc文件的操作以获取架构value_schema = avro.load（'client.avsc'）我可以做些什么...]]] >

python apache-kafka avro confluent-schema-registry

回答 1 投票 1

neo4j接收器连接器-Avro-未知的魔术字节

我在合并平台上添加neo4j接收器连接器时遇到以下错误。由以下原因引起：org.apache.kafka.connect.errors.DataException：具有schemas.enable的JsonConverter需要“ ...”>

neo4j apache-kafka avro apache-kafka-connect confluent-schema-registry

回答 2 投票 0

运行数据流作业（java）时PubsubIO.readAvroGenericRecords上的空指针异常

我有以下Apache光束管道：软件包ch.mycompany.bb8;导入ch.mycompany.bb8.transforms.LogRecords;导入java.io.File;导入java.io.IOException;导入org.apache.avro.Schema; ...

google-cloud-dataflow avro apache-beam apache-beam-io

回答 1 投票 1

avro 相关问题

最新问题