在谷歌云中从API中摄取流数据到Bigquery。

Question

我想从api的数据流中摄取数据到bigquery中。

我想最好的办法是使用云数据流将这些数据摄取到bigquery中，但我不知道如何从API中提取数据。https:/developer.tom.comtraffic-api.

我可以在同一个dataflow管道中提取数据，还是必须创建一个实例，从那里提取数据到云PUBSUB，然后使用dataflow将这些数据移动到bigquery？

Answer 1

我的假设是你有一个API，你想从它发送数据到bigquery。由于你不能直接流的API，你必须打上一个批次的时间间隔，它可以是每小时或分钟的API限制的基础上。

你可以有一个job从这个API中读取数据，然后抽到PUBSUB中，用数据流把数据抽到BQ。或者你可以直接用作业把数据抽到BQ.这取决于你的数据量备份策略和业务需求。