avro 相关问题

Apache Avro是一个主要用于Apache Hadoop的数据序列化框架。

如何使用嵌入式模式从 Kafka 反序列化 Avro

我从 Kafka 主题收到二进制 Avro 文件,我必须反序列化它们。在 Kafka 收到的消息中,我可以在每条消息的开头看到一个模式。我知道最好不要...

回答 3 投票 0

是否有任何规范来描述 KafkaAvroSerializer / KafkaAvroDeserializer 或合流平台注册表的功能?

我想知道汇合模式注册表范例(据我理解,它与 KafkaAvroSerializer/KafkaAvroDeserializer 实现配对)是否会随着时间的推移而变化。如果是的话,是吗

回答 1 投票 0

有没有办法为 GCP pubsub 记录 AVRO 架构

在此处输入图像描述,就像 openAPI 一样,有一种方法可以为 GCP pubsub 记录 AVRO 架构。 GCP 是否提供像 swagger UI 这样的 UI。或者这里有什么推荐。 据我说...

回答 1 投票 0

为什么 AvroCoder 不是确定性的?

AvroCoder.isDeterministic 返回 false。 为什么 AvroCoder 不是确定性的? Avro 记录不会总是被编码到相同的字节流中吗? 由于 Avro Coder 不是确定性的 Avro

回答 3 投票 0

如何使用confluence_kafka python客户端为主题设置多个模式?

我在我的Python项目中使用confluence_kafka==2.2.0。我想为一个主题设置多个模式。我正在阅读 AvroSerializer 的文档,它说它有配置选项来设置 RecordNameStrategy ...

回答 1 投票 0

在 Confluence kafka 中的主题中发布数据,显示除 ID 列之外的所有空值

Avro Schema 值和 Avro Schema Key:Confluence 控制中心 UI { “命名空间”:“com.kaggle.onlineretail”, “名称”:“产品”, “类型”:“

回答 1 投票 0

将 POJO 转换为 AVRO 模式

给定一个 POJO(例如 User.java),是否有任何 Maven 插件可以在编译时将其转换为 AVRO 模式 avsc? 我尝试了 Schema schema = ReflectData.get().getSchema(User.class) 但这种方法......

回答 1 投票 0

Azure Functions - KafkaTrigger - 使用 avro 在第二级反序列化复合对象返回空值

我正在使用 KafkaTrigger 创建 Azure Functions,以使用来自 Kafka 的数据,其中注册了 Avro 架构。当我使用 dataType = "binary" 时,我可以反序列化消息,但我不...

回答 1 投票 0

如何使用 http 客户端检索架构/将架构上传到 azure 架构注册表?

我正在尝试以编程方式从 Azure 架构注册表上传和检索架构。 看来,这不能通过 Terraform resssource 提供程序来完成,我希望您能够...

回答 1 投票 0

Apache Nifi - 从 Avro 提取属性

我正在尝试从 Avro 和 JSON 中提取属性。我可以使用 EvaluateJsonPath 处理器从 JSON 中提取属性。我正在尝试在 Avro 上做同样的事情,但是我...

回答 2 投票 0

为什么数据工厂不允许我将数据从 OnPremise SQL Server 复制到云中的 Avro?

出现的消息如下: 错误代码 = AvroFailedToSerializeData,'类型 = Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,消息 = 序列化 Avro 数据失败。消息:姓名 '

回答 1 投票 0

从序列化字节数组中获取avro模式

我正在致力于为流处理引擎实现 avro 映射。 我是 Avro 新手,仍在学习中。我想知道 avro 模式(用于定义数据)是否可以从...

回答 1 投票 0

如何处理内部 kafka-streams 主题的 avro 架构?

我们正在为代表“公共”接口的 kafka 主题使用 Avro 方案。当这样的主题现在在 Kafka-Streams 应用程序中使用并且调用有状态操作时,

回答 1 投票 0

使用 Apicurio 反序列化来自 kafka 的 avro 格式数据时在 Pyspark 中遇到错误

我正在开发pyspark,通过带有spark结构化流的kafka主题的apicurio获取avro编码数据,并希望对其进行反序列化并应用转换,然后将其保存到hive。 ...

回答 1 投票 0

如何使用kafka主题在FlinkSQL中运行批处理模式

我有创建语句FLINK SQL的记录。 创建表 en_trans ( `transid` 整数, `产品名称` 整数, 主键 (transid) 未强制执行 ) 和 ( '连接器' = 'upsert-kafka', '

回答 1 投票 0

avro 模式中的问题..字符串,null

在此 avro 架构中 {“类型”:“记录”, "姓名": "会员", “字段”:[ {“名称”:“名称”,“类型”:[“字符串”,“空”]}, {“名称”:“技能”,“类型”:“字符串”} ]} 当我尝试分配多个值时...

回答 1 投票 0

您可以放入 AVRO 架构中的字段是否有限制

您可以放入 AVRO 架构中的字段是否有限制。 例如,我们可以有一个包含 1 000 000 个字段的 AVRO 模式吗?会对性能产生一些影响吗? 谢谢...

回答 1 投票 0

在Python中解码avro格式数据时遇到“AssertionError”

我在解码来自kafka主题的avro格式数据时遇到“AssertionError”,我们使用apicurio工具在kafka端对数据进行编码。我正在使用 python 3.11.6,我正在使用的代码...

回答 1 投票 0

如何将numpy数组写入avro文件?

我想将 numpy 数组写入 avro 文件。这是 numpy 数组的一个小例子: 将 numpy 导入为 np 随机导入 np_array = np.zeros((4,3), dtype=np.float32) 对于范围 (4) 内的 i: ...

回答 1 投票 0

如何为数组的数组编写 avro 架构?

例如,我已经尝试过这个,但它不起作用。我必须创建一个在一个字段中包含数组数组的模式,但我无法做到这一点。 { "name": "SelfHealingStarter&q...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.