avro 相关问题

我正在使用scala 2.12并在我的build.sbt中有以下依赖项。 libraryDependencies + =“org.apache.kafka”％“kafka-clients”％“0.10.1.0”libraryDependencies + =“io.confluent”％“kafka-avro -...

scala apache-kafka avro confluent confluent-schema-registry

回答 1 投票 1

Scala和Avro：将案例类转换为avro记录

我正在使用Scala 2.12和Avro（org.apache.avro）1.8。我有以下架构：架构：{“name”：“person”，“type”：“record”，“fields”：[{“name”：“address”，“type”：{“type”：“record” “，“名称” ： ”...

scala avro

回答 1 投票 0

Python 3.4和AVRO：无法根据模式转换AVRO中的简单消息？

我期待为每个记录（csv）创建一个带有元数据头的avro消息，即使用嵌套模式。我使用的是Python 3.4。我有所需的模块，即avro-python3下载。我有 ...

python python-3.x avro

回答 1 投票 0

Nifi和Avro：使用指定的avro架构将数据和元数据转换为avro文件？

这与Apache Nifi有关。我有一个固定的架构，我需要使用它。 AVSC文件（架构）（仅示例）：{“name”：“person”，“type”：“record”，“fields”：[{“name”：“address”，“type”：{“type”： ” ...

avro apache-nifi

回答 1 投票 0

在汇合Kafka中更改架构名称策略

我正在使用融合的Kafka和架构注册表，我无法找到在python中拥有自定义架构名称的方法。从这个博客我得到了如何用Java做，但不知道是什么...

python apache-kafka avro confluent-kafka confluent-schema-registry

回答 1 投票 0

Apache beam python流写小时avro文件文件

从pubsub获取消息，然后将其保存到gcs上的每小时或其他间隔文件中不起作用。作业只在我关闭作业时写入文件。谁能指出我正确的......

python google-cloud-storage avro apache-beam

回答 1 投票 0

使用Python读取AVRO文件

我有一个AVRO文件（由JAVA创建），看起来它是hadoop / mapreduce的某种压缩文件，我想将其解压缩（反序列化）为平面文件。每行记录。我在那里学到了......

java python mapreduce avro

回答 3 投票 4

Apache Avro：使用union数据类型时UnresolvedUnionException

我正在使用Apache Avro进行对象序列化。我有一个用于School对象的Avro架构：{“namespace”：“com.my.model”，“type”：“record”，“name”：“School”，“fields”：[{“name”：“sid “，”......

java apache avro

回答 1 投票 3

从scala中读取Avro文件

我正在尝试使用scala读取avro文件。我使用avro-tools提取文件的模式并将其保存到文件中，然后尝试使用以下代码读取它：val zibi = scala.io.Source ....

scala avro

回答 1 投票 3

从HDFS中读取avro文件的目录到python中的类数据帧对象

试着把这个问题归结为它的本质：在python 3中是否有一种方便的方法来将avro文件的目录 - 而不仅仅是单个文件 - 读入类似数据帧的对象？这个 ...

python-3.x hadoop apache-spark hdfs avro

回答 2 投票 1

Spark Dataframe以avro格式写入kafka主题？

我有一个Spark中的Dataframe，看起来像eventDF Sno | UserID | TypeExp 1 | JAS123 | MOVIE 2 | ASP123 | GAMES 3 | JAS123 |服装4 | DPS123 | MOVIE 5 | DPS123 |服装6 | ASP123 |医疗......

scala apache-spark dataframe apache-kafka avro

回答 1 投票 2

avro中的字节格式

使用汇编5.0.0将Oracle表加载到Kafka时，如何停止将数字转换为字节格式？转换为字节在使用...中的数据时会产生很多问题

oracle11g apache-kafka avro confluent confluent-schema-registry

回答 2 投票 0

Python - 如何将保存表模式的.txt / .csv文件转换为.avsc文件

需要将表模式（使用describe \ list列）提取到.txt或.csv文件中，然后使用python将这些文件转换为.avsc（avro模式）文件。 sample.txt：COLUMN_NAME | ...

python-2.7 avro avsc

回答 1 投票 0

如何用Fro将Avro格式的数据写入Kafka？

为了从Kafka读取Avro数据，我们有AvroDeserializationSchema。但是写作呢？