从网站直接下载文本文件到Azure Data Lake Storage Gen1。

Question

是否可以将网站上的大文本文件直接下载到Azure Data Lake Storage Gen1；如果可以，我需要按照什么步骤来操作？ 我的桌面存储空间不够，传输数据非常慢，请问可以直接从网站下载大文本文件到Azure数据湖存储Gen1吗？

Answer 1

其实，我们不能直接将网站上的大文本文件直接下载到Azure Data Lake Storage Gen1中。

你可以使用Data Factory来帮你实现。参考bellow教程。

1. 使用Azure Data Factory从HTTP端点复制数据: 本文概述了如何使用 Azure Data Factory 中的复制活动从 HTTP 端点复制数据。HTTP连接器是通用的，可以从任何HTTP端点检索数据，例如下载文件。
2. 通过使用Azure DataFactory将数据加载到Azure Data Lake Storage Gen1中。:本文向您展示了如何使用Data Factory Copy Data工具将数据从Amazon S3加载到Data Lake Storage Gen1中。您可以按照类似的步骤从其他类型的数据存储中复制数据。
3. 使用Azure DataFactory将数据复制到或从Azure Data Lake Storage Gen1中复制。: 本文概述了如何将数据复制到Azure Data Lake Storage Gen1并从其复制。

使用HTTP连接器作为源，Azure Data Lake Storage Gen1作为Sink。

希望这对你有所帮助。