任何人都可以让我们知道在Google Cloud Platform中使用Dataflow,我们可以将CSV文件从GCS加载到BigQuery而不进行任何转换
..只需使用Python中的Dataflow从GCS到BigQuery的简单加载。如果是的话,你可以提供给我们....
不幸的是,如果没有至少1次转换,这是不可能的。最小的转换是将CSV(字符串)中的单个行转换为Python字典或TableRow
(来自BigQuery API),这是通过BigQuerySink
写入BigQuery所必需的。
或者,您只需使用bq
命令行工具将CSV上载到BigQuery即可。这更简单,可以由任何类似cron的应用程序安排。注意:此解决方案具有不同的计费含义。
bq load --source_format=CSV <destination_table> <data_source_uri> [<table_schema>]
bq命令行工具参考:https://cloud.google.com/bigquery/bq-command-line-tool