Looker Studio 在 BigQuery 中的查询性能

Question

我在三个单独的表中准备了大约1.8GB的样本数据。然后我创建了一个物化视图来连接这 3 个表的数据。

使用此物化视图，我在 Looker Studio 中创建了一份报告。没有缓存的报告最初需要大约 18-20 秒 来加载数据。为了创建最坏的情况，我在报告中添加了一个表格来显示数据中存在的所有维度/列。

Looker studio下发准备表的查询作业如下：

选择 t0.address，t0.agent_name，t0.amount，t0.customer_gender，t0.customer_id，t0.customer_name，t0.food_item，t0.phone_number，DATETIME_TRUNC（SAFE_CAST（t0.date AS DATETIME），SECOND）AS t0_qt_gjznucnwed， t0. rating、t0.zipCode 来自

project_id.my_dataset.data_mat_view

AS t0 分组依据 t0.address、t0.agent_name、t0.amount、t0.customer_gender、t0.customer_id、t0.customer_name、t0.food_item、t0.phone_number、t0_qt_gjznucnwed、t0 . rating，t0.zipCode 按 t0.food_item DESC LIMIT 2000001 排序；

实际上，我尝试了对数据和物化视图进行分区和集群，也使用了3GB容量的BI引擎，但报告的性能并没有显示出太大的改善。

我很想知道在这种情况下是否可以在5秒内加载报告。如果是，我们该怎么办？如果否，3TB 的大数据量性能是否会保持不变？

Answer 1

我们一直在这条路上，解决方案是专用于datastudio报告的TABLE，它也可以专用于图表。

1. 定期替换 DataStudio 报告专用表的调度程序。例如每 5m / 15 m / 1h / 24h 跑一次

2. 这是通过语法实现的

    CREATE OR REPLACE TABLE datastudio.table1 AS  
    .....  
    select query1;  
    .....  
    CREATE OR REPLACE ........;  

我们有许多针对 datastudio 优化的小表

您还可以根据用作过滤器的元素（日期、维度1、d2、d3 等）对这些表进行聚类...

3. BI 引擎工作完美，因为该表没有改变。如果您选择 15 分钟的计划，则缓存仅在该时间段之后才会失效。我们的 BI 引擎大小为 4GB。

4. 在这些数据集上禁用时间旅行。

5. 如果需要实现不同的集群，则创建多个表，会带来额外的表集成工作量。