google-bigquery 相关问题

Google BigQuery是一款Google Cloud Platform产品,可使用SQL提供无人值守数据集的无服务器查询。 BigQuery提供多个读写流水线,并支持数据分析,从而改变企业分析数据的方式。

如何识别安装和删除应用程序的用户 - 如何在新架构中使用UNNEST

我想识别安装和删除应用的用户。以前在其他地方已经回答过:SQL Query查找在同一天安装和卸载App的用户但是,这使用了......

回答 1 投票 0

BigQuery以Kafka为源头

我有一个加载到BigQuery的网页流数据,我想将BigQuery作为源连接到Kafka。是否有像kafka-connect这样的连接器用于BigQuery接收器。 ...

回答 2 投票 2

当尝试从bigquery读取时,熊猫卡住了

我在大查询(app。9M行)中有一个相当大的表,我想通过pandas阅读它。我尝试过阅读并使用[pd.read_gbq()] [1]函数,该函数适用于小型表。上 ...

回答 1 投票 0

将Google BigQuery数据导出到Python Pandas数据帧

我一直在研究如何将BigQuery数据导出到Pandas中。有两种方法:将文件导出到CVS并加载它 - https://cloud.google.com/bigquery/exporting-data-from-bigquery直接...

回答 1 投票 6

将Bigquery结果转换为Pandas Dataframe

下面是将BigQuery结果转换为Pandas数据框的代码。我正在学习Python和Pandas,并想知道我是否可以获得关于代码的任何改进的建议/想法? #...代码...

回答 1 投票 2

大查询中的字段级加密

我们的团队目前正在探索在BigQuery中对字段级别的PII数据进行加密的方法,我们发现使用Crypto-JS加密/解密的方法如下:#standardSQL CREATE TEMPORARY ...

回答 1 投票 1

行的简单SQL聚合,其中值是整数数组

我试图将我的表修改为稍微不同的东西。 Bellow是我的表,其中langs包含每行的相同数组。 (始终[荷兰语,英语,法语])。 #standardSQL SELECT ['French',...

回答 1 投票 0

如何在标准SQL中查询满足某个条件的数组?

我试图拉出阵列只满足一定条件的记录。例如,我只想要包含“IAB3”的结果。表格如下所示:表格名称:出价栏目名称:......

回答 4 投票 1

如何直接将查询结果写入Google云端存储桶?

来自google.cloud import bigquery query =“”“select * from emp where emp_name = @ emp_name”“”query_params = [bigquery.ScalarQueryParameter('emp_name','STRING','name')] job_config = bigquery ....

回答 3 投票 1

BigQuery - 将查询结果导出到本地文件/Google 存储

我想将查询结果从 BigQuery 导出到本地文件/Google 存储。 我尝试了“bq extract”命令,但它不允许查询作为输入。 用法:bq提取物 我想将查询结果从 BigQuery 导出到本地文件/Google 存储。 我试过“bq extract”命令,但它不允许查询作为输入。 Usage: bq extract <source_table> <destination_uris> 我不想提取整个表,因为该表包含许多不需要的列,我需要聚合数据。 到目前为止,我能找到的唯一解决方法是使用“bq query”命令创建一个表并使用“bq extract”提取数据。 我正在寻找通过执行以下操作来实现此目标的更好方法。 bq extract 'select dept_id,sum(sal) from temp.employee group by dept_id' 'gs://XXXX/employee.csv' 最近添加了从 BigQuery Standard SQL 直接导出:Exporting data to csv format EXPORT DATA OPTIONS( uri='gs://mybucket/myfolder2/*.csv', format='CSV', overwrite=true, header=true, field_delimiter=';') AS SELECT 1 as field1, 2 as field2 您可以使用 EXPORT DATA 导出它,它可以直接将查询结果写入 GCS,例如 EXPORT DATA [WITH CONNECTION connection_name] OPTIONS (export_option_list) AS query_statement 或只需三步即可使用 Web UI 配置查询以将结果保存在 BigQuery 表中并运行它。 将表导出到 GCS 中的存储桶。 从存储桶中下载。 第一步 在 BigQuery 屏幕中,在运行查询之前转到更多 > 查询设置 这将打开以下内容 这里有你想要的 Destination:设置查询结果的目标表 项目名称:选择项目。 数据集名称:选择一个数据集。如果你没有,创建它然后回来。 表名:随意命名(只能包含字母、数字或下划线)。 结果大小:允许大结果(无大小限制)。 然后保存它,查询被配置为保存在特定的表中。现在您可以运行查询了。 第二步 要将其导出到 GCP,您必须转到表格并单击“导出”>“导出到 GCS”。 这将打开以下屏幕 在 Select GCS location 中定义存储桶、文件夹和文件。 例如,您有一个名为 daria_bucket 的存储桶(只能使用小写字母、数字、连字符 (-) 和下划线 (_)。点 (.) 可用于构成有效域名。)并且想要以名称 test 将文件保存在存储桶的根目录中,然后您编写(在选择 GCS 位置) daria_bucket/test.csv 如果文件太大(超过 1 GB),你会得到一个错误。要修复它,您必须使用通配符将其保存在更多文件中。所以,你需要添加 *,就像那样 daria_bucket/test*.csv 这将在存储桶 daria_bucket 中存储从表中提取的所有数据,这些数据在多个名为 test000000000000、test000000000001、test000000000002、... testX 的文件中。 第三步 然后去存储,你会看到桶。 进入其中,您会找到一个(或多个)文件。然后你可以从那里下载。 BigQuery 不提供直接将查询结果导出/下载到 GCS 或本地文件的功能。首先,您需要在显式设置的目标表中获取查询结果,或者如果未设置,您可以使用保存查询结果的临时(匿名)表 - 您可以从相应的作业属性configuration.query.destinationTable(作业后)获取它(表)完成) 然后您可以将该表用作导出作业的来源 对于 gcloud cli 不支持的事情,您始终可以使用 bash 脚本。 例如,您可以将查询结果转储到文件中: bq query --format=csv --max_rows=999999 --use_legacy_sql=false\ "select dept_id,sum(sal) from temp.employee group by dept_id" > employee.csv 然后你就可以把它上传到云存储: gsutil mv employee.csv 'gs://XXXX/employee.csv' 这些天(直到他们再次更换控制台)你可以通过 1_ run your query 2_ when it is completed, then you can use "Save the result" dropdown to save it in a *local/cloud* file. 请注意,目前命令行或 API 调用不支持此选项:-) 不支持导出过滤。 您可以将查询结果存储为另一个临时表并导出该表,因此这将是两步过程。 正如@MikhailBerlyan 指出的那样,您需要一个中间表。您可以使用 BigQuery UI 来完成此操作: 运行过滤查询(在你的例子中,'select dept_id,sum(sal) from temp.employee group by dept_id')。 查询完成后点击Save as->Save as table。此步骤创建完成过滤的中间表。 打开那张桌子,然后在最右边点击Export->Export to GCS. 这里是exporting的文档。 我公司还没有订阅谷歌驱动器,所以我们使用这个解决方法- 在 BQ 查询编辑器中运行查询。 单击Save Query Results并从Bigquery Table下拉列表中选择Choose where to save the results data from the query。 选择项目名称、数据集名称,并提供表名,例如 data_dump_13_jan,然后单击保存。 根据数据集,可能需要几秒到几小时。 作业完成后,转到云外壳终端并运行以下命令。 bq --location=<your GCP Zone> --destination_format CSV <dataset-id>:<table-name> gs://<gcp-bucket>/<dump-file-name>.csv

回答 8 投票 0

从bigquery加载大数据到python

从google.cloud导入bigquery作为bq import google_auth_oauthlib.flow query ='''select ... from ...'''bigquery_client = bq.Client()table = bq.query.QueryResults(query = query,client =。 ..

回答 1 投票 1

在bigquery中滚动前几天也活跃的活跃用户

我想计算在过去的y天中活动x次或更多次的活跃用户的滚动数。为简单起见,我们可以在5天内说> 3次我拥有的数据是| ...

回答 1 投票 1

为Pubsub到Bigquery流构建此GCP Dataflow示例时出错

我正在尝试构建以下将Pub / Sub流式传输到BigQuery的示例:https://github.com/GoogleCloudPlatform/DataflowTemplates/blob/master/src/main/java/com/google/cloud/teleport/templates/ .. 。

回答 2 投票 2

BigQuery作业完成后是否可以更新stackdriver日志?

我正在使用BigQuery Python库提交查询作业。在stackdriver中,我可以看到作业已提交,但我想在作业完成时在Stackdriver中看到一个日志条目。这是 ...

回答 1 投票 -1

解析JSON时出现Google Cloud Dataflow Javascript UDF错误

我使用Pub / Sub到BigQuery模板来传输发送到Pub / Sub主题的JSON数据。通过Dataflow,我希望将数据展平以匹配BigQuery架构并对其进行流式处理。这是 ...

回答 2 投票 0

我需要通过Klipfolio在BigQuery查询中添加动态日期变量

我从Firebase应用程序中获得了BigQuery中的用户数据。我使用Klipfolio来提取日期。我想从用户选择的时间范围中提取参与的用户数据。因此,我需要添加动态......

回答 1 投票 0

如何正确使用平均值和分区?

我有一个包含user_ids,visitStartTime和产品价格的数据,这些数据已被用户查看。我尝试获取每个用户访问的平均价格和最高价格,但我的查询没有计算...

回答 1 投票 0

使用append模型在BigQuery中进行部分行更新

假设我在BQ中有以下记录:id name age timestamp 1“tom”20 2019-01-01然后我使用流API在此记录上执行两次“更新”...

回答 2 投票 1

查询在bigquery Web UI中返回非空数据集,但在python脚本中返回空集

我在bigquery的网站上运行了一个查询,它返回了201行。我在python脚本中运行相同的查询,它返回一个空数据集。但是列名称正确返回。来自......

回答 1 投票 1

控制和监控BI Engine Reservations的使用

通过新的beta BI Engine Reservations,我注意到一些查询速度加快,但其他查询仍然不受影响。是否有可能 - 监控预订的使用方式? - 有一些控制权......

回答 2 投票 3

© www.soinside.com 2019 - 2024. All rights reserved.