使用命令行将多个CSV从本地源上传到GBQ

问题描述 投票:0回答:1

我在Google Cloud SDK Shell上整合了一个for循环,该循环会将当前目录(在我的本地计算机上)中的每个CSV都上传到单独的Google BigQuery表中,所有这些都在同一数据集中。另外,我希望在GBQ中创建的表具有与其对应的CSV文件相同的名称(.csv部分除外)。

我实际上能够使用以下命令行来完成所有操作,希望它将所有CSV附加在同一表中,而不是在单独的表中。

for %d in (*.csv); do set var1=%d & bq load --autodetect --source_format=CSV "DatasetName.%var1:~0,-5%" %d

提示:在我看来,变量“ var1”在每个循环中都会更新,但是bq加载函数不会使用更新的值,它会保持相同的原始值,直到循环结束为止。

当前输出:enter image description here

我在Google Cloud SDK Shell上整合了一个for循环,该循环会将当前目录(在我的本地计算机上)中的每个CSV都上传到单独的Google BigQuery表中,所有这些都在同一数据集中。 ...

bash command-line sdk google-bigquery command-prompt
1个回答
0
投票

即使我无法将BigQuery负载从我的本地环境复制到BigQuery。我能够重现这种情况,将。csv

© www.soinside.com 2019 - 2024. All rights reserved.