azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件:HDInsight,Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive,Pig,Spark,Storm和U-SQL编写的大数据作业。要了解更多信息,请访问:https://azure.microsoft.com/en-us/solutions/data-lake/

上游依赖项的数据工厂等待超时

我目前正在使用Data Factory V1。我有一个有2个链式活动的管道:。第一个活动是复制活动,它将SQLDB中的表提取到Data Lake Store中的.tsv文件中。 ......

回答 1 投票 1

动态获取用户凭据以使用来自spark作业的ADLS进行身份验证

有没有办法可以获取用户凭据以在Spark作业中使用ADLS进行身份验证。我正在尝试编写一个库,供用户在他们的火花作业中用来读取数据并想隐藏......

回答 1 投票 0

将文件夹递归上传到Azure

我正在尝试将批量数据上传到Azure DataLake。按照Microsoft的示例,并将命令更改为:Import-AzureRmDataLakeStoreItem -AccountName $ dataLakeStoreName -Path“C:\ ...

回答 1 投票 0

如何在不同的订阅中将文件和文件夹从一个ADLS复制到另一个ADLS?

我需要能够将文件和文件夹从一个Data Lake复制到另一个不同订阅的Data Lake,我拥有Auth Token和密钥。我试过不同的解决方案......

回答 1 投票 0

ADAL V3,Azure Data Lake,证书和ServiceClientCredentials

我有点陷阱,我需要在同一段代码(C#)中从相同的服务主体访问Azure Event Hub和Azure Data Lake。服务主体是Azure AD应用程序,我...

回答 1 投票 2

处理azure数据湖中的多个读写器

我是azure数据湖的新手,目前正在使用数据工厂v2将数据从我的事务数据库移动到azure数据湖存储。考虑一个场景公司有多个数据源团队......

回答 1 投票 0

从Azure Data Lake向SQL Server提取数据的最佳方法

我正在寻找一种最佳的编程方法,将数据从Azure Data Lake提取到MSSQL数据库,该数据库安装在Azure中的VM上。目前我正在考虑以下选项:Azure数据......

回答 1 投票 0

USQL提取文件的子集

我有一个U SQL问题。我有一个日常工作,就是按照以下格式将文件输出到目录/Output/{YYYY}/{MM}/{DD}/file.csv我现在有第二份工作要运行,这将...

回答 1 投票 0

如何使用U-SQL修改文本文件

我有一个大约130MB的大文件,每行包含10个A字符,而在第10个“A”字符的末尾是\ t,我想提取这个文本文件,然后将所有A改为B。任何人都可以帮忙......

回答 1 投票 0

Azure Data Lake Analytics中的内存限制

我已经为NetCDF文件实现了一个自定义提取器,并在输出之前将变量加载到内存中的数组中。有些数组可能很大,所以我想知道ADLA的内存限制是什么。 ...

回答 2 投票 3

将数据源从一个数据湖更改为另一个数据湖

我正在迁移具有外部表的DW,但它们指向原始数据湖而不是我创建的副本。是否有任何简单/有效的方法来重新分配数据源而无需...

回答 1 投票 0

从Azure Data Lake商店gen1获取元数据

我们希望从文件系统中获取元数据。有没有像fsImage那样存储这样的medata信息?我们使用以下命令:curl -i -X GET -H'授权:Bearer&...

回答 1 投票 0

为什么在调用azure数据湖gen2的put文件api时出现丢失的头错误?

我试图直接调用gen2 rest端点并不断收到我错过了必需标头的错误(MissingRequiredHeader消息对于此请求必须的HTTP标头不是......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.