如何在使用大查询流时监控加载到BQ表中的记录数？

Question

我们正在尝试使用数据流将数据插入bigquery（流式传输）。有没有办法可以检查插入Bigquery的记录数量？我们需要这些数据用于对帐目的。

Answer 1

在您的数据流中添加一个调用Google API Tables.get的步骤，或者在流程之前和之后运行此查询（两者都同样好）。

select row_count, table_id from `dataset.__TABLES__` where table_id = 'audit'

例如，查询返回此信息

Answer 2

您也可以通过点击Dataflow UI中写入bigquery的步骤来检查“添加的元素”。