avro 相关问题

Apache Avro是一个主要用于Apache Hadoop的数据序列化框架。

在 Confluence kafka 中的主题中发布数据,显示除 ID 列之外的所有空值

Avro Schema 值和 Avro Schema Key:Confluence 控制中心 UI { “命名空间”:“com.kaggle.onlineretail”, “名称”:“产品”, “类型”:“

回答 1 投票 0

将 POJO 转换为 AVRO 模式

给定一个 POJO(例如 User.java),是否有任何 Maven 插件可以在编译时将其转换为 AVRO 模式 avsc? 我尝试了 Schema schema = ReflectData.get().getSchema(User.class) 但这种方法......

回答 1 投票 0

Azure Functions - KafkaTrigger - 使用 avro 在第二级反序列化复合对象返回空值

我正在使用 KafkaTrigger 创建 Azure Functions,以使用来自 Kafka 的数据,其中注册了 Avro 架构。当我使用 dataType = "binary" 时,我可以反序列化消息,但我不...

回答 1 投票 0

如何使用 http 客户端检索架构/将架构上传到 azure 架构注册表?

我正在尝试以编程方式从 Azure 架构注册表上传和检索架构。 看来,这不能通过 Terraform resssource 提供程序来完成,我希望您能够...

回答 1 投票 0

Apache Nifi - 从 Avro 提取属性

我正在尝试从 Avro 和 JSON 中提取属性。我可以使用 EvaluateJsonPath 处理器从 JSON 中提取属性。我正在尝试在 Avro 上做同样的事情,但是我...

回答 2 投票 0

为什么数据工厂不允许我将数据从 OnPremise SQL Server 复制到云中的 Avro?

出现的消息如下: 错误代码 = AvroFailedToSerializeData,'类型 = Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,消息 = 序列化 Avro 数据失败。消息:姓名 '

回答 1 投票 0

从序列化字节数组中获取avro模式

我正在致力于为流处理引擎实现 avro 映射。 我是 Avro 新手,仍在学习中。我想知道 avro 模式(用于定义数据)是否可以从...

回答 1 投票 0

如何处理内部 kafka-streams 主题的 avro 架构?

我们正在为代表“公共”接口的 kafka 主题使用 Avro 方案。当这样的主题现在在 Kafka-Streams 应用程序中使用并且调用有状态操作时,

回答 1 投票 0

使用 Apicurio 反序列化来自 kafka 的 avro 格式数据时在 Pyspark 中遇到错误

我正在开发pyspark,通过带有spark结构化流的kafka主题的apicurio获取avro编码数据,并希望对其进行反序列化并应用转换,然后将其保存到hive。 ...

回答 1 投票 0

如何使用kafka主题在FlinkSQL中运行批处理模式

我有创建语句FLINK SQL的记录。 创建表 en_trans ( `transid` 整数, `产品名称` 整数, 主键 (transid) 未强制执行 ) 和 ( '连接器' = 'upsert-kafka', '

回答 1 投票 0

avro 模式中的问题..字符串,null

在此 avro 架构中 {“类型”:“记录”, "姓名": "会员", “字段”:[ {“名称”:“名称”,“类型”:[“字符串”,“空”]}, {“名称”:“技能”,“类型”:“字符串”} ]} 当我尝试分配多个值时...

回答 1 投票 0

您可以放入 AVRO 架构中的字段是否有限制

您可以放入 AVRO 架构中的字段是否有限制。 例如,我们可以有一个包含 1 000 000 个字段的 AVRO 模式吗?会对性能产生一些影响吗? 谢谢...

回答 1 投票 0

在Python中解码avro格式数据时遇到“AssertionError”

我在解码来自kafka主题的avro格式数据时遇到“AssertionError”,我们使用apicurio工具在kafka端对数据进行编码。我正在使用 python 3.11.6,我正在使用的代码...

回答 1 投票 0

如何将numpy数组写入avro文件?

我想将 numpy 数组写入 avro 文件。这是 numpy 数组的一个小例子: 将 numpy 导入为 np 随机导入 np_array = np.zeros((4,3), dtype=np.float32) 对于范围 (4) 内的 i: ...

回答 1 投票 0

如何为数组的数组编写 avro 架构?

例如,我已经尝试过这个,但它不起作用。我必须创建一个在一个字段中包含数组数组的模式,但我无法做到这一点。 { "name": "SelfHealingStarter&q...

回答 1 投票 0

根据模式 FastAvro 验证数据时出现验证错误

经过多次尝试,我无法解码 fastavro 库在根据架构验证数据时抛出的错误。以下是我得到的结果 文件“fastavro\_validation.pyx”,l...

回答 1 投票 0

无法使用 JDBC kafka-sink-connector 将 kafka 主题数据写入 postgres 数据库

我有一个 kafka 主题,我们在其中生成 avro 记录,其模式如下所示。 { “类型”:“记录”, “名称”:“测试值”, “命名空间”:&

回答 2 投票 0

Ksqldb:使用基本身份验证连接到 Confluence Schema 注册表

我目前正在为 ksqlDB 构建一个用例原型,该用例应该从填充有 String 键和 Avro 值的 Kafka 主题中读取。 我正在使用以下 docker-compose.yml 来设置我的开发

回答 1 投票 0

如何覆盖 avro 命名空间和名称以反序列化到 KafkaAvroDeserializer 中的特定类

我正在尝试反序列化 Kafka 中使用 Avro 序列化的记录。不幸的是,生产者(不是我,并且长期以来一直在为其他消费者生产)已经设定了一个模式......

回答 1 投票 0

更改命名空间时,Confluence 架构上出现预期兼容性错误

有谁知道为什么在添加新版本的架构时,使用向后兼容性在 Avro 架构中进行名称空间更改不会触发融合架构注册表中的错误。 发生了什么事...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.