选择合适的数据库用于分析数据

Question

我们需要创建企业产品，并需要选择分析数据的存储选项，最初数据将为 tb（10-40tb），但在未来几年可能会达到几个 PB。 要求：

• 聚合速度高。
• 适合实时分析。
• 时标数据库。
• 它应该很容易扩展。
• 不应有任何许可费。

Answer 1

首先，我不太清楚时间尺度，但我会尽力回答。

据我所知，这是 postgresql 的一个附加组件。您可以选择为 Postgres 提供的任何云解决方案，扩展应该不是问题，因为您可以对数据库进行分片，例如，对于 azure 灵活服务器非常有用，您可以在选项中选择突发扩展（对于削减成本非常有用）：

https://learn.microsoft.com/en-us/azure/postgresql/flexible-server/how-to-scale-compute-storage-portal

最终可能出现的问题是存储空间受到一定程度的限制，这对于 PB 规模来说可能并不理想。但是，可以尝试使用提供的更高资源 SKU，例如 32 TB 存储上的 20 个 Vcore。当您达到 PB 规模时，您需要在多个 Postgres Flex 之间进行分配或寻找其他解决方案。例如，在 Azure 中，可以选择在基于 Kubernetes 的大数据集群中扩展 SQL Server，但这不适用于其他数据库供应商 AFAIK。如果我没有 Timescale 的要求，我会选择 Synapse（MPP），您可以在其中扩展 Exabytes，它是大数据的真正解决方案，而无需增加架构的复杂性。

此设置的限制：

https://learn.microsoft.com/en-us/azure/postgresql/flexible-server/concepts-limits

关于您对实时分析的其他要求，我不确定它有多合适，但数据库应该至少在达到一定速度之前很好地处理流，这不是我担心的事情