如何让 Spark avro 阅读器在读取分区时停止推断类型

问题描述 投票:0回答:0

尝试从 hdfs 读取按年月日分区的 avro 文件。 我期待分区被读取为字符串,但类型被推断为整数

所以说我正在从存在于分区年月日的 hdfs 中读取 avro 文件。 这是一个示例:

val df = spark.reader.format("avro").load("Path_Till_Partition"/year=2023/month=02) df.show()

当我打开数据框时,我将 col("month") 的值从“02”转换为 2,并将其标记为整数。 有没有办法让它将分区读取为字符串?

谢谢

apache-spark types hdfs avro partition
© www.soinside.com 2019 - 2024. All rights reserved.