google-bigquery 相关问题

Google BigQuery是一款Google Cloud Platform产品,可使用SQL提供无人值守数据集的无服务器查询。 BigQuery提供多个读写流水线,并支持数据分析,从而改变企业分析数据的方式。

BigQuery - 从字典表的多行创建 STRUCT

我正在尝试使用下表,我们将其称为字段: 字段名称 风险 全名 中等的 电子邮件 高的 地址 高的 IP地址 低的 创建一个 STRUCT 结构,然后我可以用

回答 1 投票 0

如何在 google bigquery 中从 GEO S2 ID LEVEL 14 创建多边形

我有geometri s2 id级别14:3344456192620494848 我想将其转换为多边形,如下格式: 多边形((105.77741241455078 -5.778056992974798, 105.77741241455078 -5.77633413305314, 105.

回答 1 投票 0

Bigquery 数据块连接

如何使用机密中的凭据从 Big Query 访问数据块中的数据帧。 df = 火花 。读 .format("bigquery") .option("凭证文件",

回答 1 投票 0

Bigquery,将不常见的STRING转换为TIMESTAMP

在bigquery中我有有价值的STRING列 2024/2/9 23:52:05 GMT+07:00,原始日期没有前导零,有时我得到 2024/12/10 20:51:05 GMT+07:00,是否可以转换此栏...

回答 1 投票 0

使用 AWS Glue 将大查询中的数据加载到 Spark 数据帧中(无法找到数据源:bigquery)

我正在尝试使用 AWS Glue 将大查询中的数据加载到 Spark 数据框中。 我正在使用 Spark 3.1 并下载了 big-query-connector “com.google.cloud.spark:spark-3.1-bigquery:0.36....

回答 1 投票 0

为什么我不能将分析(窗口)函数与 GROUP BY 一起使用?例如第一个值,任意值

我正在尝试评估此查询: 选择 暗淡1, 暗淡2, first_value(dim3) over (按dim1分区,按m1 desc排列dim2)作为top_dim3, sum(m1) 作为 m1, 平均值(m2) 作为 m2 从 [表ID] B组...

回答 1 投票 0

我在excel中有多个bigquery表列表,我想读取excel并检查所有表是否存在于bigquery中或不使用python

我目前正在学习Python。我在 Excel 中列出了多个 bigquery 表,我想读取 Excel 并检查所有表是否都存在于 bigquery 中。并将结果返回到excel。有没有可以...

回答 1 投票 0

SQL 查询说明

选择计数(不同的客户ID)计数 来自“test_table1” 并且 customerId 不在(从 `test_table2` 中选择不同的 customer_id ) 选择计数(不同的客户ID)计数 来自`test_ta...

回答 1 投票 0

Bigquery导出数据输出顺序不正确

我正在尝试将表从 Bigquery 导出到 GCS 中的单个文件。 但我的输出没有按顺序排列。 导出数据选项(uri = 'gs:///file1_*.csv', format = 'CSV', 我正在尝试将表从 Bigquery 导出到 GCS 中的单个文件。 但我的输出没有按排序顺序。 export data options(uri = 'gs://<bucket><object>/file1_*.csv', format = 'CSV',overwrite = true, header = true, field_delimiter = '|') as select distinct * from (select * from table1 where country not in (select distinct(country) from table2) order by col_rnk) distinct * 已用于将输出获取到 GCS 中的单个文件中。 任何帮助都会很棒! 我认为你应该ORDER BY col_rnk移到外面。 请尝试以下 EXPORT DATA OPTIONS( uri = 'gs://<bucket>/<object>/file1_*.csv', format = 'CSV', overwrite = true, header = true, field_delimiter = '|' ) AS SELECT DISTINCT * FROM ( SELECT * FROM table1 WHERE country NOT IN ( SELECT DISTINCT(country) FROM table2 ) ) ORDER BY col_rnk

回答 1 投票 0

我正在尝试从Spring Boot访问bigquery(gcp)中存储过程(例程)的参数

我正在尝试从Java Spring启动的大查询中访问存储过程(例程)的Out参数(这是一个结构类型的数组)。 我找不到办法。有一种方法可以做到我...

回答 1 投票 0

在我的日期列中,有些行是 10/12/2007,有些行是 10-12-2007 现在我想在大查询中将日期转移到 2007-12-10

我想在大查询中更改日期格式,同时在精炼表中进行转换,实际上我的日期列中有日期列,有些行是 10/12/2007,有些行是 10-12-2007 现在我... .

回答 1 投票 0

无法更新与其自身连接的表

我正在尝试更新表格,但出现以下错误: UPDATE/MERGE 必须与每个目标行至多匹配一个源行。 我应该用这个查询更新 housing_1 但向上...

回答 1 投票 0

kohorts 的 SQL 数据透视表

我有一张过去 5 个月的客户活动表。该示例如下所示: 月 id_客户端 月号 活动 2023-10-01 1234 1 无效的 2023-11-01 1234 2 无效的 2023-12-01 1234 3 1 20...

回答 1 投票 0

如何在bigquery where子句中使用cte

我有一个查询,它采用 cte 的值进行过滤。 其中 cte1 为 ( 选择 1 作为 id ) 选择 数数(*) 来自数据集.table1 在哪里 id=(从cte1限制1中选择id) 该查询不适用于...

回答 1 投票 0

跨窗口函数使用当前行值的Bigquery

我想计算一场比赛的标准化时间的平均值和 STDDEV。我首先想通过完成时间/距离来计算每个赛车手的配速。接下来,我想做一个平均

回答 1 投票 0

Bigquery 上 ETL 的最佳实践方法?

我想知道人们找到了哪些在 bigquery 上构建和管理 ETL 作业的最佳实践/工具。 目前我有很多 sql“模板”(由 l 可怕地参数化...

回答 2 投票 0

BigQuery 审核日志 - 从 JSON 元数据中选择带有 @ 符号的键

创建日志资源管理器查询时,我们可以使用以下语法: protoPayload.metadata。"@type"="type.googleapis.com/google.cloud.audit.BigQueryAuditMetadata" 阿德特有

回答 1 投票 0

为什么我无法将复制的查询粘贴到 BigQuery 中?

我目前正在学习 Google 的数据分析课程,我很喜欢它,并且能够自己解决大多数问题。我一直遇到的一个问题是我永远无法粘贴任何

回答 3 投票 0

在表中查找给定列中具有相同值的行对

我有一个包含约 700K 行的表,每行都有一个 REPEATED 字段(每个 id 平均有 150 个值)。我需要找到具有共同值的 id 对。 我的表: ID 价值 A v1 v2 v3 乙 v2 C v8 ...

回答 1 投票 0

Google Pub/Sub Big Query 订阅架构 Mismach

我已成功为 Pub/Sub 主题创建 BigQuery 订阅。 使用的订阅架构选项: 使用表架构 写入元数据 删除未知字段 主题没有架构。我以为...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.