azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件:HDInsight,Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive,Pig,Spark,Storm和U-SQL编写的大数据作业。要了解更多信息,请访问:https://azure.microsoft.com/en-us/solutions/data-lake/

使用COPY DATA活动与SQL表和使用CREATE EXTERNAL TABLE有什么区别?

我有一堆U-SQL活动来操作和转换Azure Data Lake中的数据。除此之外,我得到一个包含我所有事件的csv文件。接下来我只想使用复制数据活动......

回答 1 投票 0

如何在U-SQL EXTRACT语句中处理丢失的文件?

我有以下EXTRACT语句,它从暂存文件和生产文件中获取数据:DECLARE @staging string =“/ staging /events.csv”; DECLARE @production string =“/ ...

回答 1 投票 1

Azure Lake to Lake转移文件

我的公司有两个Azure环境。第一个是临时环境,正在重新定位/退役/我不确定。我所知道的是我需要从一个Data Lake获取文件...

回答 1 投票 0

用databricks中的python日志记录模块编写日志,使azure datalake无法正常工作

我正在尝试在Databricks的Python-Notebook中将自己的日志文件写入Azure Datalake Gen 2。我正在尝试通过使用Python日志记录模块来实现这一点。不幸的是我无法得到它......

回答 1 投票 0

如何解决在从SQL Server数据仓库中读取外部源时拒绝行的问题

我必须使用polybase表将数据从datalake加载到sql server数据仓库。我已经创建了用于创建外部表的设置。我创建了外部表并尝试...

回答 1 投票 0

与CTAS相比,CREATE EXTERNAL TABLE的优缺点是什么?

我正在尝试构建一个Azure数据工厂管道,该管道从Azure Data Lake获取数据并对其进行转换。我想将转换后的数据存储在Azure SQL数据仓库中(作为事实和...

回答 1 投票 0

从azure函数连接到Azure数据湖Gen 2

我正在尝试从Azure函数连接到Azure Data Lake Storage Gen2以导入一些XML文件并将它们转换为JSON。但我的代码不起作用:var creds = ApplicationTokenProvider ....

回答 2 投票 1

Azure Databricks - 无法创建托管表关联的位置已存在

我在Azure Databricks中有以下问题。有时当我尝试将DataFrame保存为托管表时:SomeData_df.write.mode('overwrite')。saveAsTable(“SomeData”)我收到以下错误:...

回答 2 投票 1

如何在Sql Server数据仓库中读取包含在外部表的子文件夹中的所有文件

我必须使用polybase表将数据从datalake加载到sql server数据仓库。我已经创建了用于创建外部表的设置。我用...创建了外部表

回答 1 投票 0

从Scala访问Azure Data Lake Storage gen2

我能够从运行在Azure Databricks上的笔记本连接到ADLS gen2,但无法使用jar连接作业。我使用了与笔记本中相同的设置,除了使用...

回答 1 投票 0

使用Azure Functions中的NodeJS将文件保存到Azure Data Lake Storage的任何示例?

我的用例非常像这个问题。但我们正在寻找一个nodejs解决方案。无法在任何地方找到它。希望至少这是可行的。

回答 2 投票 -1

可以在Azure Data Lake Gen 2 Rest API中使用通配符吗?

我创建了一个Azure Data Lake gen2文件系统来存储和恢复数据。我已经正确加载了我的数据(每天一个文件)但是,当我想使用Azure Data Lake gen2 Rest API时,我可以......

回答 1 投票 -2

如何解决SQL Server数据仓库中的特殊字符问题

我必须使用polybase表将datalake中的数据加载到SQL Server数据仓库中。我已经创建了用于创建外部表的设置。我创建了外部表格......

回答 1 投票 0

如何从ASP.NET Core应用程序查询Azure Analysis Service中的数据?

我有一个云应用程序,它将所有数据转储到Azure Data Lake中。使用Azure Data Factory,我构建了一个管道,用于从湖中提取和转换数据并将其保存在...

回答 1 投票 0

如何使用Azure数据工厂动态获取表(sql server数据仓库)中的所有json文件表数据(从ADF加载到DWH)

我必须将所有json文件数据放入从azure数据工厂到sql server数据仓库的表中。我能够将数据加载到具有静态值的表中(通过在数据集中给出列名)...

回答 1 投票 0

使用SSIS从ADLS第2代读取

有谁知道哪个连接和数据流组件用于ADLS(Azure Data Lake Store)gen2?我已设法在连接管理器中使用blob连接器并成功连接到...

回答 3 投票 3

无法连接到Azure Data Lake Storage gen1,禁止出错

我正在使用.net4.8。我需要连接到Azure Data Lake Storage Gen1。我在github上找到了以下示例:https://github.com/Azure-Samples/data-lake-store-adls-dot-net-get-started/现在在Azure ...

回答 1 投票 0

使用Azure功能处理Azure Datalake存储文件

我定期在Azure Datalake商店的特定文件夹中获取文件。一旦文件到来,我想使用Azure功能进一步处理它。那可能吗?

回答 1 投票 0

如何使用Data Factory截断Dynamics 365实体(并复制到Azure数据湖)?

我目前正在使用数据工厂将实体从Dynamics 365批量复制到Azure Data Lake。实体每24小时保存为Data Lake中的CSV文件。我没有批量复制,而是......

回答 2 投票 1

U-SQL + Pandas Merge_asof

我是第一次使用Azure Data Lake Analytics,我不确定如何合并2个数据集,就像我在python中使用pandas一样。我正在合并两个具有不同时间戳的数据集,但......

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.