avro 相关问题

Apache Avro是一个主要用于Apache Hadoop的数据序列化框架。

我如何获得Java对象的字段类型和值？

也许有人会建议我如何显示无法访问初始java类（用于创建对象）的点燃存储对象的结构？点燃存储对象是...

java serialization avro ignite

回答 1 投票 0

使用Kafka schema-registry API注册新的avro模式

我正在尝试使用kafka-schema-registery api创建新架构。下面是实现：let value = JSON.stringify（avroSchema）;让type = {“ schema”：value}; ...

node.js apache-kafka avro confluent-schema-registry avsc

回答 1 投票 0

Avro模式可以指定最小数组长度吗？

是否可以用最小大小定义Avro中的复杂记录数组？我希望我的数组始终至少包含一个元素。如何限制呢？

arrays avro

回答 1 投票 0

Kafka connect spooldir动态模式生成器

这与CSV的kafka-connect-spooldir连接器有关。我想知道是否有一种方法可以避免对模式进行硬编码，而让连接器动态创建模式？我有很多csv ...

apache-kafka avro apache-kafka-connect

回答 1 投票 0

Spark无法从二进制文件读取所有记录

我正在尝试从S3读取Avro文件，如本Spark文档中所示，我能够很好地阅读它。我的文件如下所示，这些文件各包含5000条记录。 s3a：//bucket/part-0.avro ...

apache-spark deserialization avro binaryfiles spark-avro

回答 1 投票 0

Avro文件加载并从Snowflake表中读取

我知道VARIANT数据类型可用于加载非结构化文件，但是此数据类型是否支持Avro的UNION数据类型，即-第1天名称是avro文件中的记录类型，而第2天是...

avro snowflake-cloud-data-platform

回答 1 投票 0

使用Kafka REST代理发布Avro消息会引发“将JSON转换为Avro失败”

我正在尝试发布一条消息，其中包含一个字段的联合，例如{“ name”：“ somefield”，“ type”：[“ null”，{“ type”：“ array”，“ items”：{“类型”：“记录”，...

spring-boot apache-kafka avro confluent confluent-schema-registry

回答 1 投票 0

为avro模式创建十进制逻辑类型和字节类型的json表示形式

我正在尝试根据avro模式下的JSON字符串创建十进制值。 https://avro.apache.org/docs/1.8.2/spec.html#Logical+Types {“名称”：“得分”，“类型”：“字节”，“逻辑类型”：“ ...

scala avro event-bus avro-tools

回答 1 投票 3

使用多线程同时将多封邮件同时发布到Kafka补丁以测试性能，以检查其性能

import org.apache.avro.Schema;导入org.apache.avro.generic.GenericData;导入org.apache.avro.generic.GenericRecord;导入org.apache.kafka.clients.producer.KafkaProducer;导入...

java multithreading apache-kafka avro

回答 1 投票 0

无法通过在罐子中包装spark-avro_2.11来加载avro

我使用spark-submit运行一个scala jar，它引发一个错误：线程“ main”中的异常org.apache.spark.sql.AnalysisException：无法找到数据源：avro。 Avro是内置的，但外部数据...

apache-spark avro

回答 1 投票 0

C＃将AVRO转换为JSON

是否有C＃实现将反序列化的AVRO 转换回常规JSON格式？我已经从Kafka成功阅读了该主题，并使用了AvroDeserializer，但我...

c# json avro

回答 1 投票 0

java中不可变的生成类

Avro是否支持从Java模式中生成不可变的类？有点在线阅读，似乎不被支持，但找不到明确的答案。

java avro

回答 1 投票 0

如何从maven（eclipse）中的avro模式生成源代码？

我知道这不是第一次问这个问题。由于我已经浏览了几个链接，但无法理解为什么在没有错误的情况下avro模式不能生成源代码...

eclipse maven plugins schema avro

回答 2 投票 0

具有kafka lib的反序列化原始AVRO密钥

当我使用kafka-avro-console -...时，我目前无法在KSTREAM APP中反序列化avro PRIMITIVE密钥，该密钥已使用avro模式编码（已在模式注册表中注册），>

java apache-kafka avro apache-kafka-streams confluent-schema-registry

回答 1 投票 0

Avro /架构注册表-设置新的不可为空/必填字段

avro confluent confluent-schema-registry

回答 1 投票 0

如何使用点网在Kafka中生成墓碑Avro记录？

我的接收器属性：{“名称”：“ jdbc-oracle”，“配置”：{“ connector.class”：“ io.confluent.connect.jdbc.JdbcSinkConnector”，“ tasks.max”：“ 1” ，“主题”：“订单”，“ connection.url”：...

.net apache-kafka avro kafka-producer-api confluent-schema-registry

回答 1 投票 1

如何使用dotnet在Kafka中生成墓碑Avro记录？

我的接收器属性：{“名称”：“ jdbc-oracle”，“ config”：{“ connector.class”：“ io.confluent.connect.jdbc.JdbcSinkConnector”，“ tasks.max”：“ 1”， “ topics”：“ orders”，“ connection.url”：...

.net apache-kafka avro kafka-producer-api confluent-schema-registry

回答 1 投票 0

如何修复缓存架构注册表查找导致糟糕的性能

编辑：几年前我发现了另一个问题（如何在不调用注册新模式的情况下在CachedSchemaRegistryClient中填充缓存？）。它提到了...

java apache-flink avro confluent-schema-registry

回答 1 投票 1

您如何在jupyter笔记本中阅读Avros？（Pyspark）

我无法在Jupyter Notebook中读取Avros。当我使用以下命令时：从pyspark.sql导入pyspark import SparkSession spark = SparkSession.builder.getOrCreate（）path =“ C：/ Users / ...

python apache-spark pyspark jupyter-notebook avro

回答 1 投票 0

AWS上的架构注册表

我正在评估运动学以替代kafka。我缺少的一件事是Schema注册表等效解决方案。我特别需要：架构升级-验证与先前版本的兼容性...