从湖中读取数据

Question

我需要从azure数据湖中读取来自azure数据的数据，并在sql中应用一些联接并在Web UI中显示。数据约为300 GB，并且以4Mbps的速度将数据从Azure数据工厂迁移到Azure SQL数据库。我还尝试使用具有Polybase支持的sql server 2019，但是复制数据也需要12到13个小时。还尝试了cosmos db来存储湖中的数据，但似乎要花费大量时间。

通过其他任何方式，我们都可以从Lake读取数据。一种方法可能是天蓝色的数据仓库，但这太昂贵了，并且仅支持128个并发事务。可以使用数据块，但它是一个计算引擎，我们需要24 * 7的UI查询可用]

Answer 1

我仍然建议您使用Azure数据工厂。如您所说，您的数据约为300 gb。

这里是Copy performance and scalability achievable using ADF：

我同意大卫·马科贡。您的数据工厂的性能非常慢（4Mbps）。请参考此文档Copy activity performance and scalability guide。

它将帮助您提高数据工厂数据复制性能，提供有关数据工厂设置或数据库设置的更多建议。

希望这会有所帮助。

Answer 2

我现在仅使用ADF和ADB已有6个月了，所以时间不长，但是我真的很喜欢。你的结局是什么？您是要将多个文件合并到一个数据框中，还是将所有内容推送到持久数据仓库（如Azure SQL Server）中？您实际上想在这里做什么？