avro 相关问题

可选逻辑类型情况下的 Avro 序列化问题

我没有任何kafka和相关技术的经验，所以我需要你的帮助。 我面临以下问题： 在我当前的项目中，我们使用融合平台（kafka + schema 注册表）。对于

Debezium 2.0 汇合 AvroConverter 无法工作

自从 debezium 2.0 决定删除 io.confluence.connect.avro.AvroConverter 我尝试直接注入它，但它一直给我以下错误： 这是我的简化部署： apiVersi...

针对嵌套记录 AVRO 架构的 GCP Pub/Sub 消息验证失败

我有一个相当复杂的 AVRO 模式，它通过了验证，但发送给它的消息不知何故与我定义的 AVRO 模式不兼容。 从那时起，我尝试缩小范围...

Debezium 连接：java.lang.NoClassDefFoundError：io/confluence/connect/schema/AbstractDataConfig

我正在尝试按照这些帖子中的步骤执行类似的操作，但它对我不起作用，我正在使用 bezium 2.5 Final。 Debezium 2.0 汇合 AvroConverter 无法工作 Debezium 连接：...

json_encode 比 PHP 中的 Avro 编码器更快（基准测试）

所以我一直在阅读有关 Avro 编码如何比 JSON 更快的内容，但是当我运行自己的测试时，我得到了完全不同的结果。在我的测试中，JSON 没有什么异常，

C# 与 avro 序列化相融合的 kafka 问题

我正在使用 docker 运行 kafka 和来自 https://github.com/confluenceinc/cp-all-in-one 的其他服务 在我的测试项目中使用 kafka、avro 和 schemaRegistry 的融合 nuget 包。 如果它去

如何通过模式自动检测将 Parquet/AVRO 加载到 Snowflake 中的多个列中？

当尝试将 Parquet/AVRO 文件加载到 Snowflake 表中时，出现错误： PARQUET 文件格式可以生成一且仅一列类型变体或对象或数组。如果您愿意，请使用 CSV 文件格式

不断发展的 Avro 架构（其中记录名称发生更改）和使用别名不起作用

所以我有一个 avro 模式，我想发展它并使用 topicRecordName 策略。我正在使用融合模式注册表。我想让它向后兼容，并且有必要更改

Avro C++ 将 avro 对象转换为 json

我正在使用 Avro C++ 库。我有一个使用“解码”函数和字节流作为源获得的二进制对象。我需要将其转换为 json 字符串、对象模式...

在 pyspark 中读取 avro 文件时出现问题

我正在尝试读取 pyspark 中的 avro 文件，但遇到错误： 我的机器上的 Spark 版本：3.5.0 我的机器上的 python 版本： 我已经使用以下参数启动了 pyspark 会话： pyspark --packa...

Kafka 中生成消息本地值序列化错误时出错

嗨，我在 Kafka 和 .Net 工作。我正在尝试生成如下消息。我已经为架构注册表和生产者创建了配置，如下所示。我正在使用证书连接到架构注册表...

如何在 Gradle 构建过程中从 Avro 模式生成 Java 类？

对于 Maven，有一个官方的 Avro 插件可以从 Avro 模式生成 Java 类。 然而，Gradle 不存在官方插件。 有 davidmc24/gradle-avro-plugin，但不再了

转储字典，其中字段包含已编码的 JSON 字符串

我使用其 avro 模式对字典进行 JSON 编码，使其成为字符串化 JSON： 导入 json 从日期时间导入日期时间 进口法斯塔夫罗 消息={ “名称”：“任何”， ...

使用额外的注释/元数据扩展 avro 字段

有时为字段提供上下文信息很有用。 其他协议（例如 protobuf）通过它们所谓的 Option 来支持注释，该选项允许进行以下自定义（uuid 字段

如何使用 Avro SchemaBuilder 类设置 null 默认值？

我正在以编程方式创建架构，这是一个要求，例如使用 SchemaBuilder： Schema s = SchemaBuilder.record(collectionName).namespace("com.company.something").fields()...

PoJo 到 Avro 序列化抛出 KryoException：java.lang.UnsupportedOperationException

我的单元测试在 Flink 1.11.2 和 parquet-avro 1.10.0 下运行正常，一旦我使用 parquet-avro 1.12.0 升级到 1.12.0，我的单元测试将抛出异常 com.esotericsoftware.kryo.KryoException：java.lang.

将 AVRO 加载到 Snowflake 中

我有一个具有以下架构的 AVRO 文件： { "type":"记录", "名称":"行", “字段”： [ {“名称”：“列1”，“类型”...

使用 Avro 架构和 JSON 数据创建 Avro GenericRecord

我正在尝试使用以下架构和 JSON 数据生成 Avro GenericRecord。 Avro 架构 { “类型”：“记录”， “姓名”：“人”， “……

如何更改SubjectNameStrategy并在confluence-kafka-python的AvroProducer中使用不同的模式？

我正在使用 confluence-kafka-python 的 AvroProducer 进行序列化。如何将SubjectNameStrategy更改为RecordNameStrategy，以便我可以在同一主题中使用不同的模式？或者有没有...

如何将 AsyncAPI 架构转换为 Avro 架构

我有一个没有任何模式验证的 kafka 实现。 kafka文档是用AsyncAPI编写的。我的目标是将 AsyncApi 架构 yaml 文件转换为 Avro 架构并将其上传到