azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件:HDInsight,Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive,Pig,Spark,Storm和U-SQL编写的大数据作业。要了解更多信息,请访问:https://azure.microsoft.com/en-us/solutions/data-lake/

如何使用Azure CLI重命名Data Lake Gen2文件夹?

我正在使用Azure Data Lake Gen2,并且我有一个名为myfolder的文件夹,其中包含1000个文件。 Azure存储CLI上是否有用于重命名文件夹和/或将整个文件夹移动到另一个文件夹的命令...

回答 1 投票 0

如何使用空值连接字符串

我们如何串联可能为空的字符串?我收到以下错误:...尝试执行时:@blocks_merged = SELECT AN_52_ENC_CSN_ID AS an_53_enc_csn_id,字符串。...

回答 1 投票 0

[使用Java检查文件夹在datalake中是否存在

我想检查数据湖中是否存在文件夹。如果存在,则在其中创建一个文件,如果不存在,则创建一个文件夹,然后在该文件夹中创建一个文件。File directory = new File(“ / Raw / ...

回答 1 投票 0

试图使用Java从webapp在datalake中创建文件

下面是在datalake中创建文件的代码段。 ADLException抛出在client.createfile行。经许可检查,用户已读取,写入和执行。有人可以帮忙解决这个问题吗? ...

回答 1 投票 0

如何使用Powershell -recursive在Azure Data Lake Store中移动文件?

我正在尝试找出一种方法,在不知道确切文件名的情况下将文件从ADLS gen1的一个文件夹移动到另一个文件夹。我想尝试使用Get-AzDataLakeStoreChildItem和Move -...

回答 1 投票 1

Databricks Filestore = 0

我刚刚运行了这个:dbutils.fs.ls(“ dbfs:/ FileStore /”)我看到了这个结果:[FileInfo(path ='dbfs:/ FileStore / import-stage /',name ='import-stage / ',size = 0),FileInfo(path ='dbfs:/ FileStore / jars /',name ='...

回答 1 投票 0

如果我所有的资源都在同一订阅中,是否真正使用了用户分配的托管身份?

我正在尝试在特定的订阅中创建HDInsight群集。现在,我选择的默认存储类型为ADLS Gen2类型,并且该存储实例存在于同一订阅中(...

回答 1 投票 0

无法看到ADLS Gen2的“生命周期管理”选项

我已经创建了ADLS(Azure数据湖存储)Gen2资源(启用了分层名称空间的StorageV2)。我在其中创建资源的区域是美国中部,性能/访问层是...

回答 1 投票 1

存在从数据湖导出到Azure SLQ Server DB的问题

我正在尝试使用Sqoop将数据从数据湖导出到我在Azure SQL Server中设置的表中。这一切都在Azure数据工厂中。该表的架构与文件名的架构匹配,...

回答 1 投票 0

“ GetVersionedSdkPath:意外的布局”尝试构建U-SQL项目时出错

两台不同的计算机,Windows 10 1803,带有v2.4.2000.0的Azure Data Lake和Stream Tools的VS2017的全新安装。我尝试构建超基本的U-SQL项目以在本地运行,然后得到...

回答 1 投票 1

从ADLS gen1火花读取文件

我有一个将(覆盖现有文件)写入ADLS Gen1目录的过程,然后是另一个启动火花作业以读取最新覆盖文件的过程。似乎大多数...

回答 1 投票 0

Power BI数据流禁止访问资源错误

我已经在Power BI中创建了一个新的工作区,该工作区具有由Azure Data Lake Gen2存储支持的数据流。我已经创建了其中几个,并且可以在Power BI Desktop中使用它们而不会出现问题。我...

回答 1 投票 0

从u-sql中的文件夹获取要处理的文件数

[如果文件夹中有多个文件,则如何从u-sql中的文件夹(目录)中获取文件计数,然后仅处理最新文件,否则处理第一个文件!

回答 1 投票 0

Azure函数可以将文件绑定到事件网格,但是不能从Azure Data Factory调用它时,可以在Data Lake中写入文件

我有一个Azure函数,该函数应处理zip文件并将其内容转换为csv文件,并将其保存到第1代Data Lake中。我已启用此Azure函数的托管身份。然后我有...

回答 1 投票 0

使用数据工厂在使用天蓝色数据仓库映射.tsv文件数据时出错

我想将.tsv文件中存在的表单数据湖中的数据复制到azure数据仓库中,但日期数据类型中有2列,因此在映射...时遇到问题...]

回答 1 投票 0

如何使用python在azure-data-lake中的文件上应用elasticsearch?

我已经在gen1中通过python将文件上传到了Azure数据湖。那些文件存在于蔚蓝的数据湖中,我需要使用...

回答 1 投票 0

DataLake在读取和写入同一文件时锁定

我有2个不同的应用程序可以处理来自Data Lake Storage Gen1的数据。第一个应用程序上传文件:如果同一天多次上传,则现有文件将被覆盖(它是...

回答 1 投票 0

可以使用azure python sdk根据上次修改时间过滤azure数据湖文件吗?

我正在尝试对存储在蔚蓝数据湖中的文件执行内存中操作。如果不使用ADL Downloader,就找不到有关使用匹配模式的文档。对于单个文件,...

回答 1 投票 0

从湖中读取数据

我需要从azure数据湖中读取来自azure数据的数据,并在sql中应用一些联接并在Web UI中显示。数据约为300 gb,将数据从azure数据工厂迁移到azure sql数据库是...

回答 2 投票 0

Azure data lake gen。 2(adls2),api获取存储在数据湖中的数据的整体大小

我正在寻找一种获取有关存储在数据湖(azure数据湖gen2 2-adls2)中的所有数据的整体大小的数据的方法。有谁知道如何获取有关数据湖大小(多少...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.