avro 相关问题

Apache Avro是一个主要用于Apache Hadoop的数据序列化框架。

根据 Avro 文档中“默认”属性的定义：“此字段的默认值，在读取缺少此字段的实例时使用（可选）。” 这意味着如果相应的字段...

java hadoop serialization apache-kafka avro

回答 3 投票 0

将 JsonObject 转换为 Avro schema 自动生成的 Java 对象

在我的代码中，我有：导入 com.google.gson.JsonObject；最终 JsonObject mdata = NiceService.nicemethod(); Nicemethod() 返回以下 JsonObject： { “顾客”： { ...

java json spring-boot jackson avro

回答 1 投票 0

无法在 Avro Genericrecord 中分配数组。收到错误 - 找不到 System.Collections.Generic.List`1

我的 Avro 架构是 - {架构：{“类型”：“记录”，“名称”：“标题”，“命名空间”：“员工.schema”，“字段”：[{“名称”：“

c# schema avro

回答 1 投票 0

如何在spark中将Avro Schema对象转换为StructType

我有一个 Row 类型的 RDD，即 RDD[Row] 和 avro 模式对象。我需要使用此信息创建一个数据框。我需要将 avro 架构对象转换为 StructType 以创建 DataFrame。你能...

apache-spark schema rdd avro

回答 6 投票 0

Pubsub 到 BigQuery 订阅：架构修订导致 BigQuery 中出现空值

我面临着 pubsub 模式演变的问题，当我添加新字段时，它们的值最终在 BigQuery 中为空。我的项目结构如下。发布订阅模式 { “命名空间”...

google-cloud-platform google-bigquery avro google-cloud-pubsub

回答 1 投票 0

如何在 Kafka 连接中将微秒时间戳转换为毫秒？

使用 confluenceinc/kafka-connect-bigquery 从 Kafka 填充 BigQuery 时，我想使用域 (Avro) 事件的时间戳来（日）对表进行分区。我的连接器属性...

apache-kafka google-bigquery avro apache-kafka-connect confluent-schema-registry

回答 1 投票 0

avro-maven 插件 - 诱导目标期间出现 ClassNotFoundException

我在当前的项目中使用 Kafka 和 Avro，我决定升级我多年来的做事方式。我总是从 AVDL 开始，因为我认为这是描述 ...

java maven code-generation avro

回答 1 投票 0

联合类型与数据类-avroschema 的序列化和反序列化不正确

我在 Python 中使用 dataclasses-avroschema 包进行 Avro 序列化时遇到了问题。当尝试使用联合类型序列化和反序列化数据类时

python avro

回答 1 投票 0

生成 Avro 编码到 Kafka

根据 AVRO 参考文档，有 2 种编码：二进制和 JSON 编码，但在 avro 消息 Kafka 生产者脚本的大多数示例中，从未指定哪种编码...

json apache-kafka avro

回答 2 投票 0

如何将math/big.Rat转换为十进制？

我正在读取avro文件并将读取的数据写入mysql。但我遇到了一个问题。当我使用这个存储库读取avro文件时，我读取的十进制类型是map[string]interface{}。什...

go decimal avro

回答 1 投票 0

Azure 数据工厂：如何从 Avro 文件导入复杂的 json 对象

我正在使用 ADF 解析一系列 Avro 文件。此练习的棘手部分是有效负载将包含不同大小的指标数组。在每个指标中，都会有轻微的

json azure-data-factory avro

回答 1 投票 0

Neo4j 源连接器无法构建源查询对某些字段返回 null 的架构

我正在使用 Neo4j Source Connector for Kafka (https://neo4j.com/docs/kafka/kafka-connect/source/) 来生成对 Kafka 主题的更改。我的配置如下： { “连接器.class”...

apache-kafka neo4j apache-kafka-connect avro

回答 1 投票 0

Kafka 消息不可反序列化。如何调试

我有 kafka 主题，我可以在这些主题上以 avro 格式生成消息。我使用架构注册表。该代码非常基本，如下所示： // 地址更改为 localhost。静止的 { 道具=新

apache-kafka avro confluent-schema-registry

回答 1 投票 0

avro::jsonEncoder 和 union

我在 data_avro.json 文件中有以下 avro 架构定义： [ { "命名空间": "my.data", “类型”：“记录”， "名称": "数据1&

c++ avro

回答 1 投票 0

如何以编程方式将 avro 架构转换为 asyncapi？

我现在想知道是否存在一个 cli 工具来将 avro 模式文件转换为 asyncapi 文件。非常感谢提前

avro asyncapi

回答 1 投票 0

使用架构注册表对 avro 消息进行 Spring 云合约测试

我正在查看 spring 文档和 spring github，我可以看到一些非常基本的异步 kafka 消息传递（生产者和消费者）示例，它们通过 json 消息和 Kafka 主题进行通信，但是...

java avro spring-kafka confluent-schema-registry spring-cloud-contract

回答 1 投票 0

我如何使用Python远程读取AVRO服务器

我想用python读取AVRO文件，当我在本地计算机上执行此操作时，效果很好（FastAvro）：使用 open('/home/user/file.avro', 'rb') 作为 fo： avro_reader = 阅读器(fo) 记录在avro_reader中...

python ssh avro

回答 1 投票 0

使用 pyspark 读取 avro 文件时提供架构

我正在尝试使用 pyspark 读取 avro 文件。我想在读取文件时提供我自己的架构。下面是示例代码。 json_schema = """ { "type": "记录...

python apache-spark pyspark schema avro

回答 1 投票 0

如何强制maven在Kafka模式注册表中注册所有需要的avros模式？

我有 **Batch ** 模式，其中包含其他模式列表。这些模式在其他模式文件中声明，因此当我将 Batch 发布到 Kafka Schema 注册表时，仅注册 Batch 模式 inori...

java spring apache-kafka schema avro

回答 1 投票 0

如何将数据集<Row>转换为列表<GenericRecord>

想知道如何将Dataset转换为List。我正在谈论： org.apache.avro.generic.GenericRecord org.apache.spark.sql.数据集 org.apache.spark.sql.Row 达...

java apache-spark apache-spark-sql avro apache-iceberg

回答 1 投票 0

avro 相关问题

最新问题