google-cloud-storage 相关问题

来自google.cloud import bigquery query =“”“select * from emp where emp_name = @ emp_name”“”query_params = [bigquery.ScalarQueryParameter（'emp_name'，'STRING'，'name'）] job_config = bigquery ....

python google-cloud-platform google-bigquery google-cloud-storage

回答 3 投票 1

BigQuery - 将查询结果导出到本地文件/Google 存储

我想将查询结果从 BigQuery 导出到本地文件/Google 存储。我尝试了“bq extract”命令，但它不允许查询作为输入。用法：bq提取物我想将查询结果从 BigQuery 导出到本地文件/Google 存储。我试过“bq extract”命令，但它不允许查询作为输入。 Usage: bq extract <source_table> <destination_uris> 我不想提取整个表，因为该表包含许多不需要的列，我需要聚合数据。到目前为止，我能找到的唯一解决方法是使用“bq query”命令创建一个表并使用“bq extract”提取数据。我正在寻找通过执行以下操作来实现此目标的更好方法。 bq extract 'select dept_id,sum(sal) from temp.employee group by dept_id' 'gs://XXXX/employee.csv' 最近添加了从 BigQuery Standard SQL 直接导出：Exporting data to csv format EXPORT DATA OPTIONS( uri='gs://mybucket/myfolder2/*.csv', format='CSV', overwrite=true, header=true, field_delimiter=';') AS SELECT 1 as field1, 2 as field2 您可以使用 EXPORT DATA 导出它，它可以直接将查询结果写入 GCS，例如 EXPORT DATA [WITH CONNECTION connection_name] OPTIONS (export_option_list) AS query_statement 或只需三步即可使用 Web UI 配置查询以将结果保存在 BigQuery 表中并运行它。将表导出到 GCS 中的存储桶。从存储桶中下载。第一步在 BigQuery 屏幕中，在运行查询之前转到更多 > 查询设置这将打开以下内容这里有你想要的 Destination：设置查询结果的目标表项目名称：选择项目。数据集名称：选择一个数据集。如果你没有，创建它然后回来。表名：随意命名（只能包含字母、数字或下划线）。结果大小：允许大结果（无大小限制）。然后保存它，查询被配置为保存在特定的表中。现在您可以运行查询了。第二步要将其导出到 GCP，您必须转到表格并单击“导出”>“导出到 GCS”。这将打开以下屏幕在 Select GCS location 中定义存储桶、文件夹和文件。例如，您有一个名为 daria_bucket 的存储桶（只能使用小写字母、数字、连字符 (-) 和下划线 (_)。点 (.) 可用于构成有效域名。）并且想要以名称 test 将文件保存在存储桶的根目录中，然后您编写（在选择 GCS 位置） daria_bucket/test.csv 如果文件太大（超过 1 GB），你会得到一个错误。要修复它，您必须使用通配符将其保存在更多文件中。所以，你需要添加 *，就像那样 daria_bucket/test*.csv 这将在存储桶 daria_bucket 中存储从表中提取的所有数据，这些数据在多个名为 test000000000000、test000000000001、test000000000002、... testX 的文件中。第三步然后去存储，你会看到桶。进入其中，您会找到一个（或多个）文件。然后你可以从那里下载。 BigQuery 不提供直接将查询结果导出/下载到 GCS 或本地文件的功能。首先，您需要在显式设置的目标表中获取查询结果，或者如果未设置，您可以使用保存查询结果的临时（匿名）表 - 您可以从相应的作业属性configuration.query.destinationTable（作业后）获取它（表）完成）然后您可以将该表用作导出作业的来源对于 gcloud cli 不支持的事情，您始终可以使用 bash 脚本。例如，您可以将查询结果转储到文件中： bq query --format=csv --max_rows=999999 --use_legacy_sql=false\ "select dept_id,sum(sal) from temp.employee group by dept_id" > employee.csv 然后你就可以把它上传到云存储： gsutil mv employee.csv 'gs://XXXX/employee.csv' 这些天（直到他们再次更换控制台）你可以通过 1_ run your query 2_ when it is completed, then you can use "Save the result" dropdown to save it in a *local/cloud* file. 请注意，目前命令行或 API 调用不支持此选项:-) 不支持导出过滤。您可以将查询结果存储为另一个临时表并导出该表，因此这将是两步过程。正如@MikhailBerlyan 指出的那样，您需要一个中间表。您可以使用 BigQuery UI 来完成此操作：运行过滤查询（在你的例子中，'select dept_id,sum(sal) from temp.employee group by dept_id'）。查询完成后点击Save as->Save as table。此步骤创建完成过滤的中间表。打开那张桌子，然后在最右边点击Export->Export to GCS. 这里是exporting的文档。我公司还没有订阅谷歌驱动器，所以我们使用这个解决方法- 在 BQ 查询编辑器中运行查询。单击Save Query Results并从Bigquery Table下拉列表中选择Choose where to save the results data from the query。选择项目名称、数据集名称，并提供表名，例如 data_dump_13_jan，然后单击保存。根据数据集，可能需要几秒到几小时。作业完成后，转到云外壳终端并运行以下命令。 bq --location=<your GCP Zone> --destination_format CSV <dataset-id>:<table-name> gs://<gcp-bucket>/<dump-file-name>.csv

google-cloud-platform google-bigquery google-cloud-storage

回答 8 投票 0

将Pandas DataFrame写入Google Cloud Storage或BigQuery

您好，感谢您的时间和考虑。我正在Google Cloud Platform / Datalab中开发一个Jupyter笔记本。我创建了一个Pandas DataFrame，并希望将此DataFrame写入...

python google-cloud-storage google-cloud-platform google-cloud-datalab

回答 6 投票 18

从Google云端存储中读取csv到pandas数据帧

我正在尝试将Google Cloud Storage存储桶中的csv文件读取到熊猫数据框中。导入pandas作为pd导入matplotlib.pyplot作为plt import seaborn作为sns％matplotlib内联来自io ...

python pandas csv google-cloud-platform google-cloud-storage

回答 6 投票 13

Google云端存储Ajax请求无效

我在谷歌云存储上有2个文件：a.wav和b.txt我想在我的浏览器中播放a.opus，这很好用。我想阅读b.txt Google Docs告诉我，如果用户在...中进行了身份验证

javascript ajax google-cloud-platform cors google-cloud-storage

回答 1 投票 0

将数据从存储桶导入datalab

我真的很失望我花了多少时间试图找出如何将数据从谷歌存储导入jupyter中的datalab项目。我刚刚使用了floydhub和colabratory ......

pandas google-cloud-storage google-cloud-datalab

回答 2 投票 1

如何将图像上传到Firebase？可能吗？

我想将图像上传到firebase云功能。我想我已经阅读了关于这个的全部帖子，我无法得到解决方案。我使用过“formidable.IncomingForm（）”，“multer”和“......

node.js firebase google-cloud-storage google-cloud-functions

回答 3 投票 0

google-cloud-storage 相关问题

最新问题