azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件:HDInsight,Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive,Pig,Spark,Storm和U-SQL编写的大数据作业。要了解更多信息,请访问:https://azure.microsoft.com/en-us/solutions/data-lake/

通过 Azure 数据砖中使用 Credential passthrough 的 python 脚本,查找 Azure Datalake 中文件夹的最后修改时间戳。

我有一个 Azure DataLake 存储 Gen2,其中包含一些 Parquet 文件。我的组织已经启用了凭证直通,因此我能够在 Azure Databricks 中创建一个 python 脚本并访问 ...

回答 1 投票 0

获取 Azure Data Lake Gen2 上的特定用户权限 (ACL)

我正在使用Azure Functions,我想知道如何查看用户对某个目录或文件的权限。为了获得ACL的信息,我按照下面的文档:......。

回答 1 投票 0

ADLS ACL规范不适用于Azure cli

我正在尝试运行以下命令来更新adls第1代中文件的访问控制列表,并且工作正常。 az dls fs访问设置条目--account dpreptestfiles --acl-spec用户:82095126-2a6c -...

回答 1 投票 0

ADLS Gen2上的多库-CSV文件作为源失败,出现'HdfsBridge :: recordReaderFillBuffer'错误

这是我第一次使用Polybase,我正在尝试将样本CSV文件(以第一条记录作为标题)从ADLS Gen2加载到Synapse。我之前已经创建了一个主密钥,所以我没有创建它。...]]

回答 1 投票 0

Azure数据工厂-将数据从ADLS复制到Cosmos DB-在创建将ADLS作为源的连接时出错

在Azure数据工厂访问中为https://example.azuredatalakestore.net/webhdfs/v1/创建ADLS的源连接时,出现以下错误。确保ACL和防火墙规则为...

回答 1 投票 0

如何将镶木地板文件上传到Azure ADLS 2 Blob

[嗨,我想将Parquet文件上传到ADLS第2代Blob。我正在使用下面的代码行创建blob并在其中上传实木复合地板文件。 blob = BlobClient.from_connection_string(conn_str =“连接字符串”,...

回答 1 投票 0

ADLS ConcurrentAppend为1 MB文件提供损坏的数据

[当我使用Parallel.For循环将10个1 MB大小的文件同时附加到Azure Data Lake Service时,尽管我看到了正确的数据,但我只能看到Azure Data Lake文件中最后2个文件的内容...] >

回答 1 投票 0

真空不删除旧的实木复合地板文件

我们有Azure数据湖以三角洲湖格式将数据存储在拼花文件中。在每次合并新数据的运行之后,我们将真空保留0小时以删除旧文件并运行optimize命令...。

回答 1 投票 0

Azure Powershell Function App从Data Lake Gen 1读取内容

非常感谢您提供有关此问题的帮助。我要做的就是使用一个简单的Azure函数应用程序,该应用程序使用Powershell从我的数据湖中读取文件(“ /input/specimen.json”),...

回答 1 投票 0

Azure Data Lake Gen2与存储帐户

我需要处理一些大数据,并计划部署Databricks集群和存储技术。当前正在评估同时支持对象和文件存储的Data Lake Gen2。 ...

回答 1 投票 1

如何从Data Lake Storage Gen 1导入数据到Azure SQL数据库?

我使用Azure门户创建了一个空的SQL数据库。我还向Data Lake Storage Gen 1中的数据湖中添加了一些示例数据。我下载了SSMS,将其链接到包含SQL数据库的服务器,然后...

回答 1 投票 1

同一操作的Powershell cmdlet差异

我从文档中获得了用于相同操作的三个命令。这些命令将文件从Azure数据湖存储复制到本地计算机。我不明白这些是别名还是...

回答 1 投票 0

使用powershell从Adls gen1下载文件不起作用

我正在尝试使用powershell脚本从azure数据湖存储下载文件。该代码是从Azure云中的Runbook触发的。看起来Export-AdlStoreItem无法正常工作。我不...

回答 1 投票 0

我如何将示例数据加载到Azure数据湖并在Power Bi中进行可视化?

我有一个示例数据(.CSV),并且可以通过使用get data->文本文件在Power Bi桌面中将其可视化。我想将相同的数据加载到Azure数据湖中,以便可以从...

回答 1 投票 0

如何在Azure数据工厂中撤消操作

我是Azure数据工厂的新手。在开发管道时,我在Azure数据工厂中找不到撤消操作。 Ctrl + z无效。撤消的快捷键是什么?

回答 1 投票 0

如何使用Azure数据工厂将文件从Azure数据湖传输到网络文件文件夹(远程服务器文件夹)

是否可以使用Azure数据工厂将文件从Azure数据湖传输到远程文件服务器。我的来源没有任何问题,但是我不确定如何实现目的地。我是...

回答 1 投票 0

如何在天蓝色数据湖中更新文件数据

我在蔚蓝数据湖中上传了一个文件。我想再次上传具有更新数据的相同文件,并想要更新现有文件。那是什么过程?

回答 1 投票 0

使用Azure Data Lake Analytics / U-SQL拆分1TB文件

我有一个1TB的文本文件,其中包含一些文本数据。我想使用Azure Data Lake Analytics / U-SQL将其拆分为较小的数据块。如何实现?

回答 1 投票 0

从具有限制的ADL第1代读取CSV

用例我的Spark应用程序从Azure Data Lake Store Gen.1读取CSV文件。可以为该应用程序提供一个选项,使其仅读取前N行。此代码段的代码参数为:...

回答 1 投票 1

Azure DataLake Gen2 Powershell限制

我受到Azure Datalake gen2的cmdlet的限制:https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-directory-file-acl-powershell我' m使用此cmdlet:Get -...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.