azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件:HDInsight,Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive,Pig,Spark,Storm和U-SQL编写的大数据作业。要了解更多信息,请访问:https://azure.microsoft.com/en-us/solutions/data-lake/

如何使用 Azure 数据工厂将 Azure 分析服务中的数据存储到 Azure Datalake 中?

如何使用Azure数据工厂将数据从Azure分析服务存储到Azure Datalake中? 我在 Azure 分析服务中有两个表,我需要将这些数据复制并存储到 Azure Datalake 中...

回答 1 投票 0

如何动态加载包含不同sheet名称的不同Excel文件到SQL

*这是通用上下文:尝试将数据从 Azure Data Lake 中托管的 Excel 文件复制到 Azure SQL 数据库 * 这是我目前的情况:我正在使用Microsoft Azure云,实际上我有一个

回答 1 投票 0

如何将“设置变量”活动的字符串输出转换为 Azure 数据工厂中的 .csv 或 .txt 文件

我想获取字符串格式的“设置变量”活动的输出,并将其转换为 .csv 或 .txt 格式。 [设置变量输出: { “名称”:“数据_字符串”, ...

回答 1 投票 0

如何使用 Synapse 从 ADLS gen2 读取 python 中的 pdf 或 pptx 或 docx 文件?

我希望在 Synapse 笔记本中使用 python 读取不同格式的文件。其中包括 .pdf、.pptx、.docx、.msg 和 .eml。我希望能够读取文件然后解析并

回答 1 投票 0

如何使用 Azure 数据工厂创建 Json 文件并将其保存到存储帐户

我是 Azure 数据工厂的新手,有一个听起来很简单的要求,但我无法弄清楚。 我有一个 Json 文件保存在存储帐户容器中,我需要从中读取...

回答 1 投票 0

Camel Kafka接收器连接器配置和依赖项

我正在尝试使用“camel-azure-storage-datalake-kafka-connector”从 Kafka 连接到 Azure ADLS Gen2 我有一个运行 Docker 的 Linux 机器,其中包含 debezium/zookeeper、debezium/kafka 和 debe...

回答 1 投票 0

如何在 Power BI 桌面中仅加载选定文件

Power BI Desktop 支持从 ADLS 加载单个镶木地板文件, 现在,我们的进程会将多个镶木地板文件转储到一个文件夹中。该文件夹将包含包含其他文件的子文件夹...

回答 2 投票 0

如何计算某个时间范围内Azure Data Lake中的数据大小。需要根据 ADLS 中的修改时间访问该范围内的文件

我的数据位于 Azure Data Lake 内的文件夹和子文件夹中。每条数据都带有一个文件名,在ADLS中,我们可以查看修改时间。现在,我正在计算...

回答 1 投票 0

Tableau 和 ADLS2 之间的连接器问题

我在将 ADLS2 环境连接到 Tableau 时遇到问题。 我可以使用“ADLS Gen2 > 文件 URL”连接类型连接到 ADLS,但不能使用“ADLS Gen2 > 浏览”连接类型....

回答 1 投票 0

将 Apache Spark 连接到 Azure 数据湖(第 2 代)

我正在虚拟机中工作,在其中设置了整个 Spark 工作区并将其连接到 Jupyter Notebook。这个问题不是关于如何连接Databricks中的数据湖。我只是在工作...

回答 1 投票 0

更改 Unity 目录中现有表的位置

我想知道如何将 Unity 目录中现有(托管/外部)表的位置从存储帐户/Blob 更改为另一个。 我们希望有一种功能可以灵活地存储数据...

回答 1 投票 0

使用 Apache Spark 的 pem/证书访问 ADLS Gen2

我有一个 Azure SPN,它允许我使用证书 (.pem) 文件从 ADLS Gen2 读取数据。当我使用Azure SDK时,我可以轻松创建以下对象 从 azure.identity 导入

回答 1 投票 0

在不使用数据流活动的情况下为以下条件创建数据工厂管道

我在Azure数据湖中有一个数据,我需要创建一个管道以将其设置为下面给出的所需格式,并将其加载到数据湖中(在我的例子中目标是一个API)而不使用数据流

回答 1 投票 0

从SQL存储中读取多个JSON文件并解析到表

我正在尝试使用 Synapse 从数据湖存储容器读取多个 JSON 文件。我可以成功解析 SQL 脚本中预加载的示例文件,但我想迭代 mu...

回答 1 投票 0

无法访问 Azure synapse 专用池中的数据湖文件

我在其中创建了 Azure 突触和数据湖 1.我在数据湖中上传了一个parquet文件,该文件连接到synapse 2.当我使用 openrowset 访问无服务器池中的该文件时,它可以工作 3.但是

回答 1 投票 0

如何将 html 文件从 azure synapse 笔记本保存到 Datalake 存储?

在 Azure Synapse 和 Pyspark 中,我正在使用 ProfileReport 进行数据分析(https://github.com/ydataai/ydata-profiling): 报告= ProfileReport(数据框 标题=“

回答 1 投票 0

解决 Synapse Serverless:使用 OPENROWSET 查询镶木地板文件时出现 IO ERROR = 0x00000005(不影响 Spark 池!)

问题 我在 Azure Data Lake 存储中有一个 parquet 文件。 我正在尝试使用 OPENROWSET 从 Synapse Serverless 查询它: 选择前 100 名 * 从 开行集( 批量'https://example.dfs.c...

回答 1 投票 0

无法在 azure data Lake gen1 中看到 Delta 表数据

我已在 Azure 数据湖第 1 代中创建了一个增量表。但是,我无法通过天蓝色门户看到数据湖中的任何数据。 但是,当我在该增量表路径上运行“ls”命令时,我可以看到之前的文件...

回答 1 投票 0

如何重命名 Azure 数据湖上保存的文件

我尝试使用数据块中的scala合并Datalake中的两个文件,并使用以下代码将其保存回Datalake: val df =sqlContext.read.format("com.databricks.spark.csv").option("h...

回答 3 投票 0

Azure Synapse 拒绝使用默认标头

对此仍然有点陌生,希望得到一些帮助。 我在 Azure Synapse Analytics 中有一个管道,它从 API 接收文件。该文件的默认标头为“Prop_0”,&q...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.