azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件：HDInsight，Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive，Pig，Spark，Storm和U-SQL编写的大数据作业。要了解更多信息，请访问：https：//azure.microsoft.com/en-us/solutions/data-lake/

在 adls 中上传到大文件时出现超时错误

我需要使用 python 将 200 mb 文件上传到 adls。我正在使用官方文档中提供的代码 - https://learn.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-directory-fi ...

python azure azure-data-lake

回答 1 投票 0

什么时候应该在 Azure Synapse Analytics 中使用装载点？

Azure Synapse Analytics 的文档提到了两种使用 Synapse Analytics 中的 Apache Spark 池将数据读/写到 Azure Data Lake Storage Gen2 的方法。直接使用...读取文件

azure pyspark azure-data-lake azure-synapse azure-data-lake-gen2

回答 1 投票 0

从U-SQL中引用ADL存储gen2文件。

我有一个ADL账户，设置了两个存储：常规的ADLS gen1存储设置为默认，还有一个启用了 "分层命名空间 "的blob存储，使用存储键连接到ADLS ...

azure azure-data-lake u-sql azure-data-lake-gen2

回答 1 投票 0

在pyspark中，从文本文件创建数据框架无法工作。

以下是将用^隔开的数据文件列表读取到数据框中的代码。但是，每个字段都是作为单独的一行加载的，而不是逐行读取。换句话说，一行...

python pyspark databricks azure-data-lake

回答 1 投票 0

ADLS Gen2中无法实现软删除的解决方法。

目前，ADLS Gen2还不支持 "软删除 "功能（开启分级命名空间）。软删除功能对于人为错误或意外删除非常有效。

azure-data-lake azure-data-lake-gen2

回答 1 投票 0

缓慢的Azure数据工厂流水线

我使用Azure数据工厂V2传输一些csv文件从Azure数据湖到Azure Synapse，我有一个循环，以找到我的DataLake的特殊文件夹中的所有文件。后，我有一个DataFlow ...

azure-pipelines azure-data-lake azure-data-factory-2 azure-synapse

回答 1 投票 0

Hadoop客户端用户名和密码访问Azure Data Lake Gen2的问题。

试图在控制台中通过Hadoop客户端使用用户名和密码验证类型连接到Azure Data Lake存储Gen2，在org...收到错误java.lang.NullPointerException。

azure hadoop azure-data-lake

回答 1 投票 1

在通过Azure数据工厂将数据复制到Azure数据湖之前进行文件检查。

目前，我正在建立一个数据管道，我想复制数据从一个blob存储到Azure数据湖，通过Azure数据工厂，但之前创建一个数据管道，我想有一个文件... ...

python azure pipeline azure-data-factory azure-data-lake

回答 1 投票 0

在不知道列的顺序的情况下通过Polybase摄取CSV文件。

我正试图使用 Polybase 将一些 CSV 文件从 Azure Data Lake 摄取到 Azure Synapse 中。每个 CSV 文件中都有一组固定的列，列名在第一行给出。...

azure azure-data-lake polybase azure-synapse

回答 1 投票 0

如何使用REST api从salesforce中提取更新、插入和删除记录的数据。

我必须使用Rest Api或任何其他方式提取从salesforce插入、删除和更新的数据到azure datalake。谁能帮助我在这。先谢谢你...

azure salesforce azure-data-lake

回答 1 投票 0

如何使用Azure Data Factory将新的或更新的文件从Azure数据湖推送到File文件夹中？

我能够使用复制工具推送数据从Azure数据湖到本地文件夹使用Azure数据工厂。但我只是想推只更新或新的文件从Azure数据湖到文件文件夹（我......

azure file azure-data-factory azure-data-lake lastmodifiedtime

回答 1 投票 0

如何在DBFS上挂载Azure数据湖存储？

我需要使用 Azure 服务主客户端凭证在 Azure Databricks 文件系统上挂载 Azure Data Lake Store Gen1 数据文件夹。请在相同的问题上提供帮助

azure azure-data-lake azure-databricks

回答 1 投票 -1

在将数据从ADLS迁移到SQL时，如何在目标SQL数据库表中创建时间戳列（管道内）？

我正在将大量的parquetfiles从ADLS迁移到SQL数据库表中，所以在ForEach中我使用了复制活动，它成功地复制了所有表的数据。

sql-server-2008 azure-sql-database azure-data-factory azure-data-lake azure-data-factory-2

回答 1 投票 0

如何使用REST api从salesforce中提取更新、插入和删除记录的数据。

我必须提取数据得到插入，删除和更新从salesforce使用Rest Api或任何其他方式。谁能帮助我在这。先谢谢你...

azure salesforce azure-data-lake

回答 1 投票 0

用于JSON转换的U-SQL脚本。

我有一个有很多级别的JSON文件，需要在Azure Data Lake Analytics中转换它，以获得从 "vin "级别开始的所有数据（包括）。被切割的json是："vehicleStatusResponse"。{ "...

json azure azure-data-lake azure-data-factory-2 u-sql

回答 1 投票 1

U-SQL+Python PDF文件解析.在Azure数据湖分析中的应用

我需要从pdf文件中提取数据并存储值到Table，使用Data lake Analytics。谁能帮我提供一些例子或过程，如何实现这种情况。

azure-data-lake azure-databricks azure-data-lake-gen2

回答 1 投票 0

将文件从一个区域复制到其他区域 - Azure Data Lake Gen2

我想把给定路径的文件从 Azure Data Lake 的一个区域复制到 Data Lake 的另一个区域。例子：我想把给定路径的文件从Azure数据湖的一个区域复制到数据湖的另一个区域。源：RawZoneIncremental20200501file.parquet RawZoneIncremental20200501file.parquet 目标： StdZoneIncremental...

azure-data-factory azure-data-lake

回答 1 投票 0

AZURE中哪种服务提供的服务器少HIVE同样AWS提供的雅典娜。

AWS为我们提供了Athena来运行服务器较少的Hive查询，Azure有什么服务我们可以运行服务器较少的Hive查询。

amazon-web-services azure presto amazon-athena azure-data-lake

回答 1 投票 0

从网站直接下载文本文件到Azure Data Lake Storage Gen1。

是否可以将网站上的大文本文件直接下载到Azure Data Lake Storage Gen1；如果可以，我需要遵循哪些步骤？我桌面上的存储空间不够，而且...

download text-files azure-data-lake

回答 1 投票 0

Kafka到Azure到Power BI

预期成果：将数据从Kafka发送到Azure ADLS和Power BI中进行可视化。我目前正在我的Kafka程序（java）中发送一个硬编码文本到Azure事件中心。虽然捕获...