在可使用 API 访问的低成本存储中归档结构化数据的最佳方法是什么？

Question

我的 MySQL 数据库中有几百 GB 的数据，我想将其存档在低成本的云存储中。同时，我仍然希望能够使用 API 轻松访问和检索数据。我正在寻找一种独立于技术的解决方案（不依赖于任何特定的数据库引擎）。

检索频率预计会非常低，但我希望检索的“成本”（即工作量）也保持在较低水平。我可以忍受检索数据的较高延迟。

我正在考虑将 Spark/Databricks（提供结构化 API 接口）与长期存储解决方案（例如 Azure Data Lake Storage Gen2）（提供低成本存储）结合使用。

这是最佳解决方案还是有更好的替代方案？

Answer 1

是的，Azure Data Lake Storage Gen2 (ADLS2) 是以低成本存储存档数据的最佳云服务。

查看详细价格这里。

要将数据存档在 ADLS2 中，请在创建存储帐户时，在“高级”选项卡中选择“冷访问层”。另请选中标记 启用分层命名空间 选项。

高级 -> 访问层 -> 酷

您可以使用 Azure 存储帐户访问密钥轻松验证和访问 Azure Data Lake Storage Gen2 (ADLS Gen2) 存储帐户。 Apache Spark 提供多个 API（RDD、DataFrame、DataSet），可以帮助您根据需要访问和转换数据。

了解有关 API 的更多信息：

Databricks with ADLS Gen2

、RDD 与 DataFrames 和 Datasets

注意：

要检索数据，您必须将 ADLS 访问层更改为热。