如何将带有新列的 Dataframe 合并到 Spark 中的 Hudi 表中

Question

我有一个 Hudi 表

origin

就像 :

id     a     b 
1     123    321
2     abc    cba
3     456    654

以及由其他一些文件生成的数据框

modification

，例如：

id     a     b      c
1     xxx    xxx    a
3     xxx    xxx    b

我想将

modification

合并到

origin

中，包括

c

中的新列

modification

。但是

MERGE INTO

查询会引发异常，指出

origin

和

modification

具有不兼容的列。我怎么能做到这一点？

Answer 1

附上可能有帮助的参考链接：

https://hudi.apache.org/docs/schema_evolution/