google-bigquery 相关问题

Google BigQuery是一款Google Cloud Platform产品,可使用SQL提供无人值守数据集的无服务器查询。 BigQuery提供多个读写流水线,并支持数据分析,从而改变企业分析数据的方式。

将CSV加载到BigQuery表中的问题

我试图使用我存储在GCS中的非常简单的csv文件创建一个BigQuery表。我一遍又一遍地得到同样的错误:无法解析'1/1/2008'作为字段XXX的日期时间我'...

回答 1 投票 0

Google Dataflow - 由GoogleSheets支持的BigQuery工作

我有一个用Java编写的Google Dataflow批处理作业。这个Java代码访问Bigquery并执行一些转换,然后输出回Bigquery。此代码可以访问Bigquery表...

回答 2 投票 4

尝试使用带有反斜杠作为转义字符的Google Bigquery CLI导入CSV时出错

尝试使用以下参数将csv文件上载到BigQuery时:bq load --quote ='“' - null_marker ='\\ N'--source_format = CSV sendpulse.user_orders gs:// data-sendpulse / user_orders_3。 csv我得到......

回答 1 投票 0

字节差异从历史表和ga会话历史表中处理

如果我从所有现有的ga_sessions_或firebase表中提取完整数据,则处理的字节数为4.5GB。如果我将上一个查询保存到目标表中,然后从中提取完整数据...

回答 1 投票 -1

如何使用Appengine和来自API的Python脚本流数据将数据流式传输到Google Cloud BigQuery?

我一直试图从下面的api流式传输数据,但收效甚微。 https://dev.socrata.com/foundry/data.cityofchicago.org/8v9j-bter使用shell自动化datalab笔记本...

回答 1 投票 1

具有编辑距离的BigQuery查询UDF引发错误

我试图使用编辑距离算法比较文章之间的内容。我在标准查询中创建了一个UDF。当文章数量很少时(例如10篇文章,总...

回答 1 投票 0

在Apache Spark中使用Bigquery Connector时如何设置分区数?

我正在阅读Google Cloud Dataproc和Apache Spark的文档,我无法弄清楚在使用Bigquery连接器时如何手动设置分区数。 ...

回答 1 投票 0

使用java.Without使用作业加载数据,将json数据流式传输到Bigquery

我是bigquery的新手所以我不完全理解如何将数据流传输到bigquery,这是我的问题,我有jsonInString,从像这样的对象映射的字符串customerJsonInString = mapper ....

回答 1 投票 0

如何将GROUP BY与AGGREGATED列值一起使用

我正在学习SQL,所以我不确定我的问题。我正在运行以下查询:SELECT count(key),FORMAT_DATE(“%Y-%m”,DATE(min(created_date)))作为First_Month FROM`xxxxxxxx.xxxxxxx_xxxxx ....

回答 1 投票 -1

如何将BigQuery数据移动到长期存储?或者只是在90天后自动标记为? [关闭]

如何将BigQuery数据移动到长期存储?如何将历史数据移至Google Cloud中的长期存储?

回答 2 投票 0

BIGQUERY Golang客户获取项目列表

如何使用我提供的serviceaccount密钥获取golang云客户端可以访问的项目列表?似乎有可用的API:https://cloud.google.com/bigquery / ...

回答 1 投票 0

将数组保存到Big Query

我刚刚开始使用Big Query,我想知道我是否可以原生使用数组,或者我应该使用json字符串代替。阵列数据类型未在大查询中列 为受支持的类型。我需要 ...

回答 1 投票 0

BQ数组查找:类似于NTH,但基于索引,而不是位置

NTH函数对于在BQ中提取嵌套数组元素非常有用,但它对给定表的实用程序取决于每行包含相同数量元素的嵌套数组,并且在...中

回答 2 投票 1

截断GBQ中的表

我试图截断GBQ中的现有表,但是当我运行它时,以下命令失败。是否有任何特定的命令或语法来做到这一点。我查看了GBQ文档,但没有运气。 TRUNCATE ......

回答 2 投票 10

如何在每次上传桶时更新Big Query后端数据

我已经从我的云存储桶中的数据创建了Big Query。在我的用例中,我定期将数据发送到同一个桶,这是我的Big Query的后端(同时创建...

回答 1 投票 0

在命令行中更新biq查询中的表数据

我正在尝试更新满足条件的Big查询表。我尝试在命令行中通过错误bq更新`project_d.data_set.table_name`set field1 ='1011',field2 ='201',field3 ='...

回答 1 投票 0

使用bigquery表GET api获取表的最后修改日期

我试图使用bigquery REST API获取表及其last_modified_date的列表。在bigquery API资源管理器中,我正确地获取了所有字段,但是当我使用Python代码中的api时......

回答 1 投票 0

多个表的Pcollection

我有两个bigquery表。表A c_id count_c_id p_id表B id c_name p_type c_id基于表A中的列,我需要使用DF管道从表B中查找详细信息。 PCollection&...

回答 1 投票 0

如何在Google BigQuery Composer和Cloud Shell中提交多个查询

只是一个简单的问题,请不要告诉我,Query Composer和Google Cloud Shell不支持提交多个查询。当我提交两个语句时(例如drop table语句......

回答 2 投票 1

SQL自联命名?

我对SQL有点新手,所以请保持温和......我正在尝试创建一个[遗留] BigQuery SQL自联合,如:SELECT * FROM(查询1),(查询1)从另一个SO回答中找到的语法这里。但是......

回答 2 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.