azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件:HDInsight,Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive,Pig,Spark,Storm和U-SQL编写的大数据作业。要了解更多信息,请访问:https://azure.microsoft.com/en-us/solutions/data-lake/

Polybase到Azure Data Lake Gen 2失败

我正在尝试从Azure SQLDW通过Polybase连接到Data Lake Gen 2中的Parquet文件。这是我的代码:CREATE DATABASE SCOPED CREDENTIAL DSC_ServicePrincipal WITH IDENTITY ='1234567890 @ ...

回答 1 投票 1

我们如何从azure数据湖中获取前100条记录

我有一个.tsv格式的200GB数据,我必须使用U-SQL从Azure数据湖中获取前100条记录。

回答 1 投票 -2

Azure Service Bus主题的EventGridTrigger

我基于EventGrid Trigger创建了一个Azure功能。每当新消息到达服务总线主题时,该触发器将触发。下面是使用Newtonsoft.Json生成的函数模板; ...

回答 2 投票 0

自定义行分隔符和json上的U-SQL自定义提取程序

我有几个具有以下数据结构的文本文件:{跨越多行的巨大json块} - #newjson# - {跨越多行的巨大json块} - #newjson# - {...

回答 2 投票 0

如何使用Azure Data Lake Storage Gen2和Azure Data factory V2执行基于事件的数据提取?

最近我们遇到了一个场景,我们的源和接收器位置是ADLS Gen2类型。现在我们得到了一个有趣的用例,我们必须在ADF的帮助下将数据从源推送到接收器......

回答 1 投票 1

无法从Apache NIFI PUTHDFS处理器写入Azure datalake

我正在尝试使用“PUTHDFS”处理器写入datalake。我在puthdfs处理器配置中提供了core-site.xml和hdfs-site.xml文件路径,附加资源路径,目录。但是我 ...

回答 1 投票 0

如何在Azure数据湖分析和Azure Databricks之间进行选择

Azure数据湖分析和azure数据库都可用于批处理。有谁可以帮我理解何时选择一个而不是另一个?

回答 2 投票 17

使用Spark odbc连接器从Azure Data Factory连接到Databricks表的问题

我们设法使用Spark(odbc)连接器从Azure Data Factory获取有效的连接到Azure Databricks集群。在表格列表中,我们获得了预期的列表,但是......

回答 1 投票 1

使用Rest API将数据附加到Azure Datalake Storage Gen2中的现有文件

Rest Data API可用于Azure DataLake Gen2。文档在这里。有没有人有邮递员的例子或类似的东西?

回答 2 投票 0

使用Azure Data Factory捕获元数据并存储在SQL数据库中?

我所追求的元数据类型包括文件大小,行数,文件名,文件是否已被处理等等,我想捕获从源到目标的数据流,包括...

回答 1 投票 0

Azure Data Lake Analytics是否支持ADLS Gen2?

我们有许多基于ADLA + ADLS Gen1的项目,我们最近注意到Gen1的价格暂不可用。此外,ADLA未列在Gen1-> Gen2迁移指南中。谷歌搜索...

回答 1 投票 0

如何通过Databricks将大型文件从一个目录复制到另一个目录,而Data Lake中的时间更短?

我正在尝试将20GB文件从一个文件夹复制到Azure Data Lake中的另一个文件夹,并希望通过Data Bricks实现它。我已经尝试了下面的代码,但它花了一个多小时。能够 ...

回答 2 投票 1

Azure ADLS Gen2不可用

我正在尝试使用Data Lake Gen2预览创建Storage v2帐户,但它已从Azure向导中禁用。据我所知,它应该适用于此设置?

回答 1 投票 3

将数据写入ADLS中的文件

我有从JSON序列化检索的基类的List对象集合,现在在我将数据写入表之前,我需要在Azure数据湖中拥有数据的副本。以下样本......

回答 1 投票 0

在VS Code中的python脚本中调用ADLS数据

我已经在VS代码中安装了ADL扩展,现在我正在编写一个Python脚本,我需要读取Azure Data Lake Storage(ADLS Gen1)中的csv文件。对于本地文件,以下内容......

回答 2 投票 0

我可以使用Python SDK访问azure datalake gen2中的数据吗?

适用于Azure DataLake Gen1的Python SDK。文档在这里我可以使用相同的SDK从python访问Azure DataLake Gen2中的文件吗?

回答 2 投票 0

将DocumentDB集合移动到Azure Data Lake存储

我想知道将documentDB移动到Azure Data Lake Storage的最佳做法是什么。我应该为集合中的每个文档创建一个文件还是移动整个documentDB?我也没找到......

回答 2 投票 11

使用Azure Data Factory将HTTP端点中的数据加载到Azure Data Lake中

我正在尝试使用Azure服务构建一个所谓的“现代数据仓库”。第一步是将其本机原始格式的所有数据收集到Azure Data Lake存储中。对于某些数据源......

回答 1 投票 0

将xls文件上传到azure数据湖gen1时,不支持获取文件格式

我正在开发一个应用程序,它将使用angular7和.net core从用户那里获取文件输入。我使用websocket将有效负载传递给我的后端。我可以上传到azure datalake ......

回答 1 投票 0

从数据工厂读取时获取数据湖中的文件和文件夹

通过使用路径如何从datalake动态获取文件,从azure数据工厂读取azure sql表数据(实际上由目录的路径组成)。任何人都可以告诉......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.