azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件:HDInsight,Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive,Pig,Spark,Storm和U-SQL编写的大数据作业。要了解更多信息,请访问:https://azure.microsoft.com/en-us/solutions/data-lake/

将 Salesforce 数据拉入 Azure

要求是将一些 Salesforce 对象复制到 Azure 数据湖中。由于我是 Azure 的新手,有人可以帮助我使用将 salesforce 中的数据提取到 az 中所需的工具或连接吗...

回答 2 投票 0

Endpoint 不支持 BlobStorageEvents 或软删除异常

在尝试执行数据预览或调试管道时,我收到以下错误,指出“端点不支持 blobstorage 事件或软删除” 我不想禁用软d...

回答 2 投票 0

将数据发送到数据湖存储

我正在尝试保存从 ESP32 发送到 IoTHub 的 json,json 文件如下所示:` ' { "msgCount": 0, "message": "你好世界", "id": "

回答 1 投票 0

如何向用户授予对 Azure Synapse Analytics Lake 数据库中特定数据库的权限?

我在 Azure Synapse Analytics Lake 数据库中有多个数据库。现在我试图限制其中一位用户的读取访问权限。我使用以下脚本为用户创建登录名: ...

回答 1 投票 0

无法使用 Polybase/复制方法将数据从本地加载到 Synapse

ADF、ADLS 和 Synapse 都位于私有端点,我们能够从本地提取数据并使用 ADF 复制活动中的批量插入方法加载到 Synapse 中。但是当使用 Polybase/Copy me...

回答 1 投票 0

我如何通过外部应用程序写入我的 Fabric Lakehouse?

我有一个用于用户管理的 React 应用程序,我需要经常将数据直接(通过天蓝色函数)写入我的 Fabric Lakehouse。 理想情况下,我能够使用我的服务原理......

回答 1 投票 0

将 DefaultAzureCredential 用于 DataLakeServiceClient

我有一个 api,它向调用者授予 sas 令牌,以将文件上传到 blob 存储。我想让它与 DefaultAzureCredential 一起使用。 这是我的program.cs中的代码: 建设者.服务.

回答 1 投票 0

使用 adf 中的复制活动将文件归档到带有时间戳的 adf 中

我的要求是使用复制活动将基于通配符的特定文件从数据湖中的容器/文件夹复制到azure数据库,然后将文件复制到时间戳为...的不同文件夹中

回答 2 投票 0

Azure Data Lake Gen 2 和 Python 在 Data Lake 文件夹中复制文件

使用此处证明的示例:https://learn.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-directory-file-acl-python?tabs=account-key。我已经能够连接到我的 Azure Data Lake

回答 1 投票 0

是否可以使用 DBeaver 和 DuckDB 连接器直接从 Azure Datalake 存储读取 parquet 文件?

我使用 DBeaver 和 DuckDB 数据库连接(Path = :memeory:)来读取本地 .parquet 文件。 SELECT * FROM "C: old\myfile.parquet" 是否可以直接读取 .parquet 文件...

回答 1 投票 0

根据通配符在源处复制文件名,以便使用 Azure 数据工厂传输到接收器中的单独文件夹

我希望配置 ADF 作业以使用复制功能从源容器传输 .txt 文件,并将它们传输到各自文件夹中的 ADLS 接收器容器。 例如: 所以...

回答 1 投票 0

在 Azure 数据工厂中解压缩

我有一个大小为32GB的zip文件。我需要将其导入数据湖存储服务帐户。我正在尝试解压文件并通过 Azure 数据工厂移动该文件。 Zip 文件已上传...

回答 2 投票 0

使用 delta-rs Python API 连接到 Azure Data Lake Storage Gen 2 上的 Delta Lake 并进行身份验证

我正在尝试使用 Delta-rs Python API 连接并验证 Azure Data Lake Storage Gen 2 中的现有 Delta 表。我从这个 StackOverflow 问题中找到了 Delta-rs 库:Delta

回答 2 投票 0

如何在Synapse(托管专用端点)中读取excel文件?

使用 Azure Synapse,我有一个笔记本,可以在其中读取位于 Azure Data Lake 中的 excel 文件。 通常它是有效的,改变的是现在我使用托管专用端点。 当笔记本电脑启动时,我...

回答 1 投票 0

无法在 azure AD 中添加雪花存储帐户的角色分配

我已经使用azure云提供商创建了一个雪花,并尝试将数据从数据湖加载到雪花中的外部阶段 为此,我按照以下步骤操作: 在 azure 和

回答 2 投票 0

天蓝色数据块中的安装点

我想使用以下代码在azure databricks上使用安装点: dbutils.fs.ls('/mnt/dz/') 但我有这个错误 Shadowd.databricks.org.apache.hadoop.fs.azure.AzureException:java.util。

回答 1 投票 0

Azure 数据工厂获取嵌套 json 对象的文件路径

我在Azure数据工厂中遇到以下问题: 容器/../../year=2023/m=1/d=01/h=01/m=5/file.json 20年每5分钟、每小时、每天、每月都有一个json文件...

回答 1 投票 0

为特定于租户的容器实施 Azure Data Lake 存储生命周期规则

我正在使用 Azure Data Lake Storage (ADLS),并拥有多租户设置,其中每个租户都有一个单独的容器。每个租户容器内的文件夹结构都是标准化的,并包括...

回答 1 投票 0

如何使用 Azure 数据工厂将 Azure 分析服务中的数据存储到 Azure Datalake 中?

如何使用Azure数据工厂将数据从Azure分析服务存储到Azure Datalake中? 我在 Azure 分析服务中有两个表,我需要将这些数据复制并存储到 Azure Datalake 中...

回答 1 投票 0

如何动态加载包含不同sheet名称的不同Excel文件到SQL

*这是通用上下文:尝试将数据从 Azure Data Lake 中托管的 Excel 文件复制到 Azure SQL 数据库 * 这是我目前的情况:我正在使用Microsoft Azure云,实际上我有一个

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.