Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件：HDInsight，Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive，Pig，Spark，Storm和U-SQL编写的大数据作业。要了解更多信息，请访问：https：//azure.microsoft.com/en-us/solutions/data-lake/
将“设置变量”活动的输出传输到json文件[Azure数据工厂]
在Data Factory中，我们可以将'Set Variable'活动的输出记录为json文件吗？
我正在寻找像Azure数据目录这样的数据目录工具，它将支持Azure Data Lake Gen2环境中的多租户作为数据源。使用此功能，多个用户（不同的...
我正在尝试使用R来连接到我存储了一些CSV文件的Azure Blob。我需要将它们加载到数据帧中并对其进行一些转换，然后再将它们写回...
在我们的DataLake存储中，我们每天收到未指定数量的文件夹。这些文件夹中的每一个都包含至少一个文件。文件夹示例：FolderA | _ / 2020 | _ / 03 | ...
如何在DataFactory中获取以下值：上次触发管道的时间触发管道的当前启动时间
在计算目标上执行训练脚本期间，我们正尝试从ADLS2数据存储区下载注册的数据集。问题是下载〜1.5Gb（分割成〜8500 ...
我根据下面链接的文档将容器复制到另一个存储帐户。 （DataLake Storage Gen2）。尝试时，出现以下错误：该请求无权执行此操作...
通过天蓝色数据块从天蓝色数据湖gen1读取数据时应遵循的最佳做法
我是天蓝色数据砖的新手。我试图将数据从datalake读取到databricks中。我发现主要有两种方法将datalake中存在的文件挂载到dbfs中（优点是...
通过ARM或Powershell更改Azure ADLS存储帐户的防火墙和网络设置
[在Azure ADLS存储帐户（第2代）中，我们对网络和防火墙设置进行了一些小的更改，使EXCEPTION可以启用：-允许读取存储日志（如屏幕快照所示...
如何列出和删除Azure Data Lake Store Gen1上的空文件夹
[问题1：有没有一种方法可以列出和删除Azure Data Lake Store Gen 1上的空文件夹？场景：我们需要定期运行作业，以递归方式删除根目录下的所有空文件夹...
我需要将CSV文件上传到Azure Data Lake Gen2文件系统。我尽力尝试在创建Azure Data Lake File时设置其内容类型。请参阅下面的代码：从天蓝色。...
我在azure数据工厂管道中有一个元数据活动，并且将其连接到数据湖以获取文件。 Azure数据工厂中是否有可用的方法来对可用文件进行排序...
将Azure Data Lake Gen2向客户公开以进行查询的不同方式有哪些
在当前的业务场景中，我们完整的平台基于MS SQL Server（源-> ETL->目标）。出于BI报告的目的，我们创建了以客户为中心的数据集市，并为其提供了...
我正在处理一个管道，其中我们的数据源是存储在Azure数据湖中的csv文件。我能够使用获取元数据并针对每个活动来处理所有文件。现在我需要找到数字...
我们一直在审查Microsoft的Modern Data Warehouse体系结构（此处链接），该体系结构引用使用Azure Data Factory将结构化和非结构化数据提取到Azure Data Lake中。我是...
我正在尝试通过azure数据工厂将数据从REST API下载到azure数据湖。如何在Azure数据工厂中传递API的查询参数？
我正在使用“复制活动”进行此操作。还有其他活动可以更好地执行此操作吗？ REST API URL示例：https：//xzy.com/servicename？name = tom＆age = 50＆city = boston＆........
如何从Azure Data Lake Gen2访问XML文件并将其转换为Azure Databricks中的数据框架？
我们需要访问位于Azure Data Lake Gen2中的XML文件，并将其转换为数据框，如下所示。示例XML数据：
Azure数据工厂中是否有可用的方法来跟踪管道的事件？我有一个事件日志表，我需要将与管道关联的所有事件记录到同一表中。任何...
从Azure Data Lake Gen 2删除未刷新的文件
要先将文件上传到ADL，您需要：使用？resource = file参数（在ADL上创建文件）进行放置请求，并使用？action = append＆position = ...
[在移动到接收器时使用azure数据工厂在csv文件中添加标头
我们如何使用azure数据工厂将标头添加到blob / azure数据湖中现有的文件中。我正在使用复制活动将更少的标头文件移动到接收器，但是在移动文件时...