从通用ODBC数据库到BigQuery的数据移动

Question

我会将外部数据库的查询结果保存到Bigquery。我正在使用pyodbc来管理odbc连接。

执行此类操作的最有效方法是什么？

我应该fetchOne每个游标行，然后插入BigQuery？

Answer 1

结果是否有大量数据？

如果结果很小，您可以只读取所有行并插入到BigQuery中。好处是BigQuery查询可以立即获得结果。但是，对于大的结果，流式插入可能很昂贵（参见https://cloud.google.com/bigquery/pricing）。

对于大结果，我只将结果保存到文件（通常是CSV），将其上传到GCP并运行加载作业。