azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件:HDInsight,Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive,Pig,Spark,Storm和U-SQL编写的大数据作业。要了解更多信息,请访问:https://azure.microsoft.com/en-us/solutions/data-lake/

从SELECT语句生成/返回空数据时如何导致U-SQL脚本失败?

我有一个U-SQL脚本,它使用一些UDO处理一些数据,然后最终将文件输出回Azure Data Lake。预期的行为是,如果生成的文件为空,则...

回答 1 投票 1

作为软件测试人员,我如何测试azure数据湖中的数据?

我想验证Azure Data Factory中正在被Azure Data Factory提取的数据。我该如何验证?作为验证的一部分,我可以做哪些不同的验证...

回答 1 投票 -1

尝试使用Data Factory将数据从Azure表移动到Data Lake存储时出错

我一直在构建一个Datafactory管道来将数据从我的azure表存储移动到datalake存储,但是任务失败,但我找不到任何信息。错误是复制...

回答 2 投票 1

移动 - 而不是复制 - Azure数据工厂中的数据

我想设置一个Azure数据工厂管道,它执行移动(即复制,验证,删除)操作,而不仅仅是Blob存储和Data Lake Store之间的复制操作。我不能 ...

回答 3 投票 4

以编程方式编译或验证U-SQL

我有一个要求,根据某些规则或条件,生成U-SQL脚本。这是通过模板完成的。我想要一些方法来验证生成的U-SQL脚本,类似于“...

回答 2 投票 0

VS代码错误ECONNREFUSED 127.0.0.1:12345

我在VS Code中使用ADLS扩展来访问存储在ADLS中的数据。安装扩展并成功登录后,我尝试了ADL预览文件:本地运行帐户,ADLS文件路径。 ...

回答 1 投票 0

安排一个天蓝色数据湖商店的管道,该商店每周一上午8点在UTC运行

输出数据集:“可用性”:{“频率”:“日”,“间隔”:1,“偏移”:“03:00:00”,“样式”:“StartOfInterval”}管道:“调度程序”:{ “频率”:“日”,“间隔”:1,“偏移”:“03:00:00”,“......

回答 1 投票 -1

Azure Data Lake Store上的公共数据集,用于Data Lake Analytics

Azure Data Lake是否存储要与Azure Data Lake Analytics一起使用的公共数据集? Google BigQuery提供类似于此的公共数据集,因此可以轻松创建表格。

回答 1 投票 0

Azure ADLS Gen 2写入blob存储

我很难用c#写入ADLS Gen 2 blob存储。这个功能可用吗?我正在尝试将我的代码从ADLS Gen 1更新到Gen 1.这段代码适用于ADLS Gen 1 ...

回答 1 投票 0

如何使用Azure Datalake Gen2 Rest API重命名blob存储中的文件

我尝试执行本文档的以下说明:LINK我使用SAS身份验证并将其添加到请求标头“x-ms-rename-source”但我不断收到此错误“403 -...

回答 2 投票 0

在尝试枚举目录时,Databricks无法访问Data Lake Gen1

我正在使用(嗯......尝试使用)Azure Databricks,我已经创建了一个笔记本。我希望笔记本连接我的Azure Data Lake(Gen1)并转换数据。我按照文件......

回答 1 投票 0

如何使用Python或Pyspark或scala在databricks中运行笔记本的结果日志

我必须使用python或pyspark或scala在databricks中获取笔记本的作业运行结果日志,并将这些日志详细信息写入文件。我无法获得这些日志。有人可以帮我吗?

回答 1 投票 0

如何使用U-SQL使用上面的数据填充空白单元格

我有一个csv文件,我试图使用Azure Data Lake Analytics U-SQL处理。我是U-SQL的新手,所以请耐心等待。原始文件是半结构化的,我设法修复使用...

回答 4 投票 1

如何处置与Azure存储等服务的连接

我的函数将数据存储在Azure Data Lakta Storage Gen 1.但我收到错误发送请求时发生错误。当我调查时,我知道我在天蓝色功能中的连接克服了8k然后......

回答 1 投票 0

必须修改New-AzureRmDataLakeStoreItem“User-Agent”标头错误

我正在尝试使用powershell在Azure Data Lake Store Gen 1中创建一些新文件夹,但New-AzureRmDataLakeStoreItem和New-AZDataLakeStoreItem都返回错误。我有RWX权限...

回答 1 投票 0

如何使用Azure API Management从Azure Data Lake Rest API获取响应?

我想使用Data Lake rest API调用Azure Data Lake Gen 1。我尝试通过Javascript调用,但因为我遇到了CORS,我决定在JS和ADLS之间使用...

回答 1 投票 0

如何使用httpclient API删除Azure datalake Store中的目录

我可以使用httpclient API删除Azure中的文件,但是如何使用httpclient API删除Azure的datalake Store中的目录?文件删除代码私有const字符串DeleteUrl =“...

回答 1 投票 0

如何有效地防止事实表中的重复行?

我已经构建了一个数据工厂管道,它将Data Lake中的数据ETL转换为Datawarehouse。我为我的尺寸选择了SCD类型1。我的管道包含以下活动:[存储...

回答 1 投票 2

将Azure Data Lake帐户添加到现有HDInsight群集

我需要以编程方式将Azure Data Lake的引用添加到现有集群。我知道我们可以通过脚本操作对blob存储执行此操作,但我发现没有记录的方法来执行此操作...

回答 2 投票 0

使用Databricks将Google Api的结果写入数据湖

我通过Databricks上的Python SDK从Google管理员报告用户使用情况Api中获取用户使用情况数据。数据大小是每天大约100 000条记录,我通过批处理过夜。 ...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.