将数据从Google Dataproc中的hive表移动到BigQuery

Question

我们正在使用Google Dataproc进行数据转换，我们所有的数据都驻留在Dataproc Hive表中。如何将此数据传输/移动到BigQuery。

Answer 1

从Hive转移到BigQuery似乎有一个标准模式：

• 将您的Hive转储到Avro文件中
• 在BigQuery中加载这些文件

在这里查看示例：Migrate hive table to Google BigQuery

如上所述，请注意Hive / Avro / BigQuery之间的类型兼容性。

我第一次认为通过比较Hive和BigQuery上的表具有相同的数据来做一些验证并没有什么坏处：https://github.com/bolcom/hive_compared_bq