我们正在使用Google Dataproc进行数据转换,我们所有的数据都驻留在Dataproc Hive表中。如何将此数据传输/移动到BigQuery。
从Hive转移到BigQuery似乎有一个标准模式:
在这里查看示例:Migrate hive table to Google BigQuery
如上所述,请注意Hive / Avro / BigQuery之间的类型兼容性。
我第一次认为通过比较Hive和BigQuery上的表具有相同的数据来做一些验证并没有什么坏处:https://github.com/bolcom/hive_compared_bq