将栅格数据存储在数据湖中

Question

在我们的组织中，我们的大部分数据都存储在 Azure 基础设施中的 Delta Lake 表中，并集成了 Databricks。我希望能够在云计算分布式环境中处理栅格数据（例如卫星图像）。为此目的，您使用什么策略和流程？

Answer 1

这确实是一个广泛的问题 - 工作可以意味着多种事情

1. 从源格式摄取数据
2. 将数据转换为适合分析的形式
3. 对 GIS 数据进行分析，包括可视化数据。

在 Databricks 上，有多种选项：

• 您可以将数据以二进制形式提取到 Delta Lake 表中，也可以从源格式转换数据（例如，名为 Mosaic 的 Databricks Labs 项目允许您提取 WKT、WKB、GeoJSON）。
• Mosaic还允许索引地理数据并对其执行许多不同的操作，包括可视化。
• Databricks Runtime 还包括许多地理空间函数，几乎每个新版本都添加了更多功能。