Spark-将具有不同架构(列名称和序列)的不同架构(列名称和序列)合并/合并到具有主通用架构的数据框架

问题描述 投票:1回答:1

[我尝试通过df.schema()将一个模式作为通用模式并将所有CSV文件加载到其中。但是对于分配的模式失败,其他CSV文件的标题不匹配

任何建议将不胜感激。就像在函数或Spark脚本中一样

python apache-spark pyspark
1个回答
3
投票

据我了解。您想要合并/合并具有不同架构的文件(尽管是一个主架构的子集)。我写了这个功能UnionPro,我认为它很适合您的要求-

© www.soinside.com 2019 - 2024. All rights reserved.