azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件:HDInsight,Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive,Pig,Spark,Storm和U-SQL编写的大数据作业。要了解更多信息,请访问:https://azure.microsoft.com/en-us/solutions/data-lake/

我如何从PowerBI读取ADLS Gen 1中的实木复合地板文件?

是否有连接器可以从PowerBI读取ADLS Gen 1存储中存在的镶木地板文件并进行报告?

回答 1 投票 0

我如何缩放Azure数据工厂数据流?

我能够使用ADF UI轻松地为一个表设置SCD Type 2流程,但是我没有一种简单的方法可以扩展到我们拥有的数千个数据源。我看不到任何允许......>

回答 2 投票 0

从Databricks中的Azure Datalake读取AVRO

我正在尝试读取eventhub数据(AVRO)格式。我在将数据加载到数据块的数据框中时遇到问题。这是我正在使用的代码。如果我做错任何事情,请让我知道path ='/ ...

回答 1 投票 0

具有防火墙的Storage Accoung V2访问,从VNET到数据工厂V2

我在存储帐户V2中具有Blob容器,该容器具有VNet的防火墙设置,并且只允许访问Microsoft可信服务。现在,只要防火墙限制了其他服务,我就是...

回答 1 投票 0

搜索存储在Azure Data Lake中的数据

我有以下构建Data Lake的用例(例如在Azure中):我的组织处理的公司都破产了。公司破产后,需要移交所有...

回答 1 投票 0

存储在Azure Data Lake中的Oozie文件或存档标签参考文件

我们在Azure计算节点上自定义了Apache Hadoop安装,并使用Apache Oozie安排工作流。所有工作流和协调器xml文件都部署到Microsoft Azure数据湖中...

回答 1 投票 0

如何爆炸而不会丢失空值?

如何在U-SQL中爆炸数组而不丢失Null值?在正常的交叉应用| Explode(),空值丢失。我从这里提取了以下脚本:@content = SELECT * ...

回答 1 投票 0

重命名书面CSV文件,Spark引发错误“路径必须是绝对的-Azure Data Lake]

我尝试重命名书面CSV文件Spark中描述的解决方案,但出现以下错误“ java.lang.IllegalArgumentException:路径必须是绝对的”。我该如何解决?它可以在scala或...

回答 1 投票 0

是否可以将xlsxwriter生成的文件发送到Azure数据湖而无需写入本地磁盘?

出于安全考虑,我需要将文件移动到Azure Datalake存储,而无需在本地写入文件。这是使用xlsxwriter软件包创建的excel工作簿。这是...

回答 1 投票 0

为什么Databricks Python无法从我的Azure Datalake Storage Gen1中读取?

我正在尝试使用语法(受文档启发)从Databricks笔记本中读取来自Databricks笔记本的Azure Data Lake Storage Gen1文件mydir / mycsv.csv configs = {“ dfs.adls.oauth2.access.token ... 。

回答 1 投票 2

Microsoft Azure数据湖存储(Gen2)中的分层命名空间是什么?

我阅读了微软的相关文档。链接-> https://docs.microsoft.com/zh-cn/azure/storage/blobs/data-lake-storage-namespace。但是无法清楚地理解它。谁能帮我...

回答 1 投票 0

虽然捕获的邮件度量标准与传入的消息匹配,但捕获的积压较高

在Azure Event Hub Capture中,尽管捕获的邮件指标与传入的消息匹配,但捕获积压总是很高。我们如何推断呢?这是否表示Azure正在删除邮件...

回答 1 投票 0

将增量数据从AWS S3复制到Azure Data Lake Storage Gen2失败

[我正在尝试使用azure数据工厂将文件从s3存储桶复制到blob存储,模板为“将AWS S3的增量数据复制到Azure Data Lake Storage Gen2”。但是在...期间会抛出2个错误。

回答 1 投票 0

Azure数据工厂多个表

我有一个业务场景,我们必须从一个数据库中提取所有表,让我们说冒险工作,并将所有表信息放入数据湖中的单独的csv中。假设在冒险作品中...

回答 1 投票 -1

我想在u-sql的if条件中使用“> =”,但变量在字符串中

我正在使用u-sql代码,如果条件需要在其中使用,但字符串中有一个问题@day,因此,我无法使用“> =”条件,如果可以,可以对其进行转换工作,但全部...

回答 1 投票 0

Hadoop API使用pyspark下载文件

我正在尝试下载Hadoop文件(我的hadoop数据在Azure数据湖中)。在以下脚本中使用过,但是我遇到了JVM错误。有什么帮助吗? sc = spark.sparkContext URI = sc._gateway.jvm ....

回答 1 投票 0

数据流是否可以作为数据源连接到数据湖

我正在尝试将数据流(powerBI)连接到数据湖gen2以获取数据。我看不到连接器,有人知道此功能是否可用吗?谢谢

回答 1 投票 0

为Azure Datalake域名使用常量

是否可以使用Microsoft.Azure.DataLake.Store Nuget包(或其他地方)中的常量来指定Azure Data Lake Store域名,而无需硬编码{dataLakeName} ....

回答 1 投票 0

列出坐在数据湖中的文件夹中的所有文件

我正在尝试获取一个文件夹中所有文件的清单,该文件夹有几个子文件夹,所有这些子文件夹都位于数据湖中。这是我正在测试的代码。 import sys,os import pandas as pd mylist = ...

回答 1 投票 1

如何使用Azure CLI重命名Data Lake Gen2文件夹?

我正在使用Azure Data Lake Gen2,并且我有一个名为myfolder的文件夹,其中包含1000个文件。 Azure存储CLI上是否有用于重命名文件夹和/或将整个文件夹移动到另一个文件夹的命令...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.