任何人都可以让我们知道在Google Cloud Platform中使用Dataflow,我们可以将CSV文件从GCS加载到BigQuery而不进行任何转换

问题描述 投票:-2回答:1

任何人都可以让我们知道在Google Cloud Platform中使用Dataflow,我们可以将CSV文件从GCS加载到BigQuery而不进行任何转换

..只需使用Python中的Dataflow从GCS到BigQuery的简单加载。如果是的话,你可以提供给我们....

google-cloud-platform
1个回答
0
投票

不幸的是,如果没有至少1次转换,这是不可能的。最小的转换是将CSV(字符串)中的单个行转换为Python字典或TableRow(来自BigQuery API),这是通过BigQuerySink写入BigQuery所必需的。

或者,您只需使用bq命令行工具将CSV上载到BigQuery即可。这更简单,可以由任何类似cron的应用程序安排。注意:此解决方案具有不同的计费含义。

bq load --source_format=CSV <destination_table> <data_source_uri> [<table_schema>]

bq命令行工具参考:https://cloud.google.com/bigquery/bq-command-line-tool

© www.soinside.com 2019 - 2024. All rights reserved.