Elastic Search - 它是否适合分析团队的DB?

问题描述 投票:0回答:1

我是一个分析团队的成员,该团队最近将其数据仓库转移到Elastic Search中。DW是通过Dremio访问的。

然而,我对Elastic Search是否适合一个分析团队的日常分析工作有了新的想法。我更希望我们将DW保存在BigQuerySnowflakeRedshift中,并使用 "dbt "工具来转换数据并将其写回DB中。

我找不到一个类似 "dbt "的工具来执行从Elastic Search读取后的快速数据转换,而Dremio也不是一个足够成熟的工具。我想征求您对Elastic Search的看法,以及是否是一个适合日常分析的DB。

我很感谢您的回复。

编辑:我在一家在线零售商工作。我们的数据不是任何意义上的 "大数据"。在每天几千份订单的顺序。我们的大部分工作是回应各个团队部门的询问。其中有些问题已经超出了简单的查询范围。我们必须建立定制化的数据集市,中间涉及多个步骤。因此,我们需要一个工具,让我们能够快速转换数据,并将结果集放到数据库中。有一个这样的工具是 "dbt",但它不支持弹性搜索。所以问题是,是否有合适的工具来完成这项工作,或者Elastic Search不适合我们的用例。

elasticsearch analytics business-intelligence
1个回答
2
投票

考虑到

我们的数据不是任何意义上的 "大数据"。

很可能ElasticSearch不是合适的选择。使用ES的唯一理由是大量的类似搜索的查询,并对文本类型字段进行 "包含 "过滤,而且只有当数据集太大,SQL兼容的DB无法快速处理这些查询时才会使用。

看起来PostgreSQL可以完成这项工作。如果你正在寻找用于快速OLAP查询(聚合)的列式DB,你可以查看开源的ClickHouse。

最后,Dremio并不是唯一能与ElasticSearch(或PostgreSQL、ClickHouse等)合作的BI工具。一些BI工具允许你使用 "无痛 "脚本进行维度测量,你可以直接在ES查询中计算很多东西。

© www.soinside.com 2019 - 2024. All rights reserved.