Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件：HDInsight，Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive，Pig，Spark，Storm和U-SQL编写的大数据作业。要了解更多信息，请访问：https：//azure.microsoft.com/en-us/solutions/data-lake/
我们如何使用Powershell / Azure数据工厂识别文件是否包含头文件
是否有任何选项可使用Power Shell / azure数据工厂动态标识文本/ csv文件的标题？解决方案，需要搜索文件，然后需要确定是否有任何...
我想通过我的ADF管道删除所有早于60天的繁重文件，但要保留该文件在该月的前6个工作日（无论最近60天如何）。 ...
Azure Data Lake Storage Gen2标签显示为容器而非文件系统
我刚开始使用Azure中的Data Lakes，并解决了Azure门户中ADLS Gen2屏幕的问题。使用Azure门户，我创建了一个新的存储帐户来设置新的Azure数据湖...
Microsoft是否要支持Azure Data Lake Analytics作为Power BI Desktop的来源？如果我们可以通过Power BI通过Azure Data Lake Analytics查询ADLS数据，将会非常有利可图...
将DataFrame写入木地板或Delta似乎不并行-花费的时间太长
问题陈述，我已将CSV分区文件读入Spark数据框。为了利用Delta表的改进，我试图将其简单地导出为Delta表，位于...
如何将文件从多个源文件夹复制到Azure Data Lake Storage Gen 2中的目标文件夹
我在ADLS中有多个文件夹，每个文件夹中都有增量文件。我的目标是将所有增量文件转换为拼花格式，并将其放置在其他文件夹中。我想保持相同...
我已在Azure Data Factory中设置管道为1）将文件从存储复制到Lake 2）u-sql以合并/处理复制的文件并输出到单个文件3）打开并处理此合并的文件（插入到.. 。
如何在Azure数据工厂中将Datalake Gen1数据集迁移到Datalake Gen2？
最近，对于我们的解决方案，我们要求从第1代升级到Datalake第2代，但是我可以使用azure数据工厂将gen 1的文件夹和文件加载到gen2，但要在现有数据中...
我们正在尝试评估适合我们解决方案的产品。我们想要处理大数据，为此，我们希望围绕Hadoop堆栈构建解决方案。我们想知道天青在这些情况下如何提供帮助。 ...
Microsoft是否有任何文档。我需要有关运行管道的完整信息，即开始时间，结束时间，管道作业ID，插入，删除，更新，错误等记录的数目
System.Net.Http.HttpRequestException从Azure Datalake V2下载多个文件
我正在从Azure Datalake V2下载大量文件> 1000，并且不断出现异常：无法建立SSL连接，请参阅内部异常。
在运行DataBricks代码并准备CSV文件并将其加载到ADLS2时，CSV文件被拆分为许多CSV文件，并正在加载到ADLS2中。有没有办法合并这些CSV ...
如何从动态创建的文件夹（如f1 / folder_1995 / folder_12 / folder_01 / file.dat）中提取文件？我在数据湖中存储的文件价值超过10年，需要存储在DB中...
ListBlobsSegmentedAsync突然停止返回Blob目录中的文件，即使Storage Explorer显示文件在那里
[我尝试了不同的搜索文件夹中文件的方法，即使Azure Storage Explorer清楚地显示了存在的文件，并且之前完全相同的代码和配置也可以工作，...
databricks dbfs是否支持文件元数据，例如文件/文件夹创建日期或修改日期
我正在尝试在数据砖笔记本中的目录中进行爬网以查找最新的镶木地板文件。 dbfsutils.fs.ls似乎不支持有关文件或文件夹的任何元数据。是否有任何...
使用PowerShell为不同用户授予对单独的Data Lake Gen 2文件夹的访问权限
尽管我可以使用Powershell授予Azure Data Lake Gen 2中的不同用户访问权限，但我希望能够授予访问权限，以便每个用户可以使用每个Data访问各自的文件夹...
使用Azure ADF，当前我的设置如下：基于事件的事件是在文件上传时由输入BLOB触发的。文件上载触发复制活动以输出BLOB，此操作之后是...
我如何从PowerBI读取ADLS Gen 1中的实木复合地板文件？
是否有连接器可以从PowerBI读取ADLS Gen 1存储中存在的镶木地板文件并进行报告？
我能够使用ADF UI轻松地为一个表设置SCD Type 2流程，但是我没有一种简单的方法可以扩展到我们拥有的数千个数据源。我看不到任何允许......>
从Databricks中的Azure Datalake读取AVRO
我正在尝试读取eventhub数据（AVRO）格式。我在将数据加载到数据块的数据框中时遇到问题。这是我正在使用的代码。如果我做错任何事情，请让我知道path ='/ ...