avro 相关问题

将 csv 转换为加载数据到 avro tmp 文件中

如何编写一个airflow函数来读取csv文件，将数据转换为avro格式并将数据放入临时文件中？ @任务 def source_data(**kwargs) -> Dict[str, any]:

嵌套 Avro 模式

根据这个关于嵌套Avro模式的问题，嵌套记录模式的正确方法如下： { “姓名”：“人”， “类型”：“记录”， “字段”：[ {“名字”：“名字”，...

如何在 Avro 中序列化 java.math.BigDecimal？

Avro 架构是使用 JSON 定义的。模式由基本类型（null、boolean、int、long、float、double、bytes 和 string）和复杂类型（record、enum、array、map、union 和 fix...

生产者模式和kafka模式之间枚举值的不同顺序是否可以返回40403

我正在使用kafka和spring boot应用程序。我遇到了一些问题，生产者无法向 kafka 发送消息， 导致：io.confluence.kafka.schemaregistry.client.rest.exce...

spark scala kafka avro 反序列化器

我正在使用来自kafka的流数据帧。 value 列中的数据采用 avro 格式。我想将数据反序列化为结构类型。 目前我已经编写了一个 udf 函数来调用该方法

Kafka 架构注册表在同一主题中不兼容

我使用Kafka模式注册表来生成/消费Kafka消息，例如我有两个字段，它们都是字符串类型，伪模式如下： {“名称”：“test1”，“类型”：“字符串”} {“

如何在 Python 中解码 Avro 消息？

我在用 Python (3.6.11) 解码 Avro 消息时遇到问题。我已经尝试过 avro 和 fastavro 软件包。所以我认为问题可能是我提供的字节不正确。 使用...

尝试使用pyflink获取数据时如何解决“avro.AvroRowDeserializationSchema在JVM中不存在”

Pyflink 从 kafka 生产者获取数据。当生产者以 json 格式发送数据时，JsonRowDeserializationSchema 工作正常，但是当我以 avro 格式发送数据时，AvroRowDeserializationSchema 会下降

Quarkus SmallRye Messaging Kafka Avro 原生编译失败

我正在将 SmallRye 反应式消息传递与 Kafka 结合使用，并使用 Confluence 注册表和 AVRO。 正如此博客中所述，它工作正常 https://quarkus.io/blog/kafka-avro/ 但它似乎不适用于本地

Kafka Connect 如何帮助将 Avro 持久保存到数据库？为什么这是一个很好的设计方法？

根据此堆栈，Kafka Connect 将有助于防止在发布到 Kafka 并将 avro 消息保存到数据库时执行“两步提交”，并且它遵循“r...

在 MemSQL 中解析嵌套数组中的嵌套数组

我正在尝试从 Avro 模式中提取数据并将数据插入到 MemSQL 中的数据库中。我有以下 Avro 架构 { "doc": "帮助您入门的示例架构。", ”

Kafka Avro Int 使用 apache Camel/groovy 进行日期转换

有 Avro int date formate 类似 “名称”：“出生日期”，“类型”：[“null”，“int”]，“默认”：null，“逻辑类型”：“日期”} 一个...

Kafka 生产者如何查找记录的 schema Id

在 Kafka 生产者中，我可以看到我们只需要指定模式注册表 url，而不是我想要的模式。因此，在序列化记录时，生产者如何决定使用哪个模式。因为模式注册...

无法将主题“testtopic”的数据反序列化到 Avro 以用于接收器连接器

这是接收器连接器属性 “名称”：“接收器-testtopic-crdb”， “配置”：{ “connector.class”：“io.confluence.connect.jdbc.JdbcSinkConnector”，...

Avro 架构更新，一个 avro 文件中包含两个架构

我有一个带有第一个架构的 avro 文件，然后我更新了附加到同一文件的架构。所以现在我在一个文件中有两个模式。 avro 如何处理这种情况。我会有什么新领域吗...

使用 AVRO 序列化的 Kafka 中的消息是否还包含 schema 版本？

我发现：Apache Kafka with Avro and Schema Repo - schema Id 在消息中的哪里？ 我很清楚，模式 ID 是生成到 Kafka 的每条消息的一部分。我找不到这个说法

如何在Python中使用联合类型创建Avro

我尝试在 Python 中将 JSON 文件转换为 Avro，需要注意的是该模式具有联合类型。更具体地说，在最小的非工作示例中，JSON 文件只是 {"field1": {&qu...

在 GCS 中读取 Avro 文件作为 PCollection<GenericRecord>

我们的 Dataflow 作业是用 Python 编写的，从 Pubsub 订阅中侦听。这些消息是 Avro 文件的 GCS 文件路径字符串 (gs://bucket/file-timestamp.avro)。 avro 文件不统一

如何将 JsonObject 转换为 Avro 通用记录？

我还是这个领域的新手，目前我正在尝试使用 Apache Beam 中的 ParDo 和 DoFn 反序列化 parquet 文件中的数据，对记录进行一些修改，然后更新

在架构注册表上使用 Avro 架构的 Kafka 主题上使用 C# 生成时，Python 无法使用

我们有 C# 代码在 Kafka 上生成记录并使用 Avro 模式，我们也可以通过 C# 消费相同的主题，但是当我们想在 Python 中消费它时，我们会收到以下错误： 留言