如何将查询（导出数据）从Google Big Query安排到外部存储空间（例如：Box）

Question

我在Google Big Query中阅读了许多关于将查询安排到外部存储位置的文章和解决方案，但它们似乎并不那么明确。

注意：我的公司仅订阅Google Big Query，而不是订阅完整的云服务（Google Cloud Platform）。

我知道如何手动完成它，但我希望自动化该过程，因为我每周都需要相同的数据。

任何建议将不胜感激。谢谢。

Answer 1

选项1

您可以使用Apache Airflow，它提供了使用BigQuery运算符创建BigQuery计划任务的选项。

你可以在这个link找到开始设置它所需的基本步骤

选项2

您可以像使用webUI一样使用Google BigQuery command line导出数据，例如：

bq --location=[LOCATION] extract --destination_format [FORMAT] --compression [COMPRESSION_TYPE] --field_delimiter [DELIMITER] --print_header [BOOLEAN] [PROJECT_ID]:[DATASET].[TABLE] gs://[BUCKET]/[FILENAME]

一旦你完成这项工作，你可以使用你喜欢的任何计划流程来安排这项工作的运行

BTW：Airflow有一个连接器，可以让你运行命令行工具

在GCP中的文件后，您可以使用Box G suite integration查看和管理您的文件