商业智能数据源性能 - 大表

问题描述 投票:2回答:1

我使用Tableau并拥有一个包含140个字段的表。由于桌子的尺寸/宽度,性能很差。我想删除字段以提高阅读速度,但我的用户群非常大,至少有一个人使用每个字段,而90%使用相同的~20个字段。

这个问题的最佳解决方案是什么? (Tableau是我们的BI工具,BigQuery是我们的数据库)

到目前为止我所做的工作:在Tableau中,不清楚如何根据所选字段使用更改的动态数据源。理想情况下,我希望有更小的视图或非规范化的表。当用户在Tableau中进行选择时,基础数据源将使用该字段更新到表或视图。

我尝试过一个大视图的简单版本,但是比我的大表更差,并且读取了更多的数据(记住,我是BigQuery,所以我非常关心由于成本而读取的字节数)

performance tableau business-intelligence query-performance sqlperformance
1个回答
3
投票

建议1:提取数据。

特别是当涉及按查询字节付费的数据源时,(Big Query,Athena等等)提取物具有很大的意义。取决于数据对用户的“新鲜”程度。 (当然所有用户都会说“现场是唯一的出路”,但要深入了解一下,看看它实际上是什么。)刷新时间可以短至15分钟。刷新的真正强大之处在于“增量刷新”,其中只添加了新记录(沿着int或date的索引。)这是降低成本的好方法 - 如果你的BigQuery数据库是分区的 - (它应该是因为Tableau Extracts包含在.hyper文件中,这是Tableau自己设计/控制的结构,所以它们非常快速并且非常适合在Tableau中使用。

建议2:创建3个数据源(或更多)。在验证这些数据源提供正确信息后,验证这些数据源。为用户提供清晰的描述。

  1. 原始大数据集。
  2. 90%的~20个字段的子集。
  3. 剩余的10%的字段
  4. 提取物1
  5. 提取物2
  6. 提取物3

重要的是,如果字段名称在每个数据源中匹配(即:不会手动更改),那么用户应该可以根据需要“扩展”到更大的数据集。这意味着他们通常总是从一小部分数据开始进行探索,然后使用'replace datasource'功能切换到不同的数据源,同时保持相同的视图。 (但是,如果完全按比例缩小,这也不会有效。)

© www.soinside.com 2019 - 2024. All rights reserved.