如何在扁平化嵌套字段后，从一个bigquery表向另一个表进行流式插入数据？

Question

我有一个中间表，在它的列中存放send_timestamp和JSON数据。我使用dataflow将数据从pubsub插入到这个中间表。

现在我的用例是验证数据，并将中间表中的嵌套JSON扁平化到我的最终Bigquery表中的相关列中，在特定的时间戳之间插入它。我使用了云函数，但是总的消息量很大，所以无法正常工作，请问谁能推荐一个解决方案，而且是在特定的时间戳之间，将中间表中的JSON平铺到我的最终Bigquery表中的相关列中，然后插入。

谁能推荐一个解决方案，而且需要较少的时间量来使其工作？

谢谢!

Answer 1

只需使用 DML. 执行这样的查询

insert into DATASET.TARGET_TABLE
select * from DATASET.tmp_table where ....

你的云功能可以运行这个查询，然后退出。或者等待结束，以确定作业结束并成功。

编辑

您可以将数据读取（且仅读取）到云SQL中，这得益于 联席桌.

像这样，你可以执行你的where close与数据进入BigQuery，并只选择这个与CloudSQL匹配的数据。