azure-data-lake 相关问题

Azure Data Lake Analytics是Microsoft Azure中的三大数据服务套件：HDInsight，Data Lake Store和Data Lake Analytics。这些完全托管的服务使得易于上手和轻松扩展以Hive，Pig，Spark，Storm和U-SQL编写的大数据作业。要了解更多信息，请访问：https：//azure.microsoft.com/en-us/solutions/data-lake/

将数百万个小文件从Azure Data Lake Store加载到Data Bricks

我在Azure Data Lake Store中有一个分区文件夹结构，其中包含大约600万个json文件（大小为kb到2 mb）。我正试图从这些文件中提取一些字段...

apache-spark azure-data-lake databricks

回答 3 投票 3

如何对U-SQL脚本进行单元测试？

我目前有一个带有一组不同脚本的U-SQL项目，我正在尝试为它们创建单元测试。我可以使用带有一组测试数据的Azure Data Lake工具在本地运行脚本...

unit-testing azure azure-data-lake u-sql

回答 1 投票 1

如何在U-SQL中抛出错误或引发异常？

用于在U-Sql脚本中引发错误或异常的机制是什么？我有一个处理CSV文件的场景，如果在其中找到重复项，那么我需要放弃处理。在......

azure-data-lake u-sql

回答 1 投票 2

安装Azure U-SQL Extensions以在本地运行R / Python脚本？

我们可以在Azure Data Lake Analytics中使用R / Python代码扩展U-SQL脚本，但我们如何在本地进行？

azure-data-lake u-sql

回答 1 投票 1

USQL + Python扩展库

usql python扩展是否支持sci-kitlearn库？网页https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-u-sql-python-extensions仅提及numpy，pandas，...

python azure-data-lake u-sql

回答 1 投票 0

使用SSIS脚本组件读取Azure Data Lake Store文件

感谢您的建议。我的要求是，使用SSIS从ADLS读取json文件并加载到SQL表中实现：我已经实现了代码来读取.Net控制台应用程序中的json文件内容。 ...

azure ssis azure-data-lake

回答 1 投票 1

使用Azure Data Lake时是否需要数据仓库？

我正在探索Azure Data Lake，我是这个领域的新手。我探索了很多东西并阅读了很多文章。基本上我必须从不同来源的数据开发Power BI仪表板。经典......

azure data-warehouse azure-data-factory azure-data-lake

回答 2 投票 2

Data Lake Store数据和格式如何？

我听说Data Lakes可以存储任何类型的数据：Relational，NoSql，Pictures / images，Adobe Pdf，Excel。如何以No-SQL格式或二叉树存储数据？或者它只是像...一样保存它

sql image nosql azure-data-lake data-lake

回答 1 投票 1

从Excel管理授权到Azure Data Lake中的文件夹

我正在开发一个Azure数据湖，我想将Excel连接到数据湖。您如何授权用户也可以从Excel中查看数据？我使用了两个测试用户并给他们不同的访问权限......

excel azure azure-active-directory azure-data-lake

回答 1 投票 -2

如何删除Azure数据湖分析中的作业

嘿，我是Azure数据湖的初学者，我已经在azure datalake分析中创建了一些工作，现在我想删除它们，任何人都可以告诉我如何去做。

azure-data-lake

回答 1 投票 1

如何使用.NET SDK中的代码执行U-SQL作业

我有一个U-SQL作业，在后面的代码中使用自定义Extractors。我需要从C＃代码按需运行它。我找到了一种通过像字符串一样传递脚本来提交作业的方法。我能以某种方式执行......

c# .net azure-data-lake u-sql data-lake

回答 1 投票 0

在Azure Data Lake Analytics中将SQL Server添加为数据源

我正在使用Azure Data Lake Analytics进行一些测试，我无法将新的SQL Server数据库添加为数据源。当我点击“添加数据源”时，只有两个可用选项：“Azure Data Lake ...

azure azure-sql-database azure-data-lake

回答 1 投票 1

如何使用不等于U-SQL中的条件？

我正在尝试编写一个U-SQL查询来复制SQL查询所执行的相同逻辑，如下所示。 SELECT * FROM tb1 LEFT JOIN tb2 ON tb1.id = tb2.id AND tb1.pid！= tb2.pid;由于U-SQL不支持...

azure-data-lake u-sql

回答 1 投票 1

U-SQL结合三个连接的操作写入了大量的数据

所以我有三个数据源，我想连接在一起产生一些输出。 File1.json：378mb File2.json：72kb file3.json：500kb @ extractFile1 = EXTRACT columnList FROM PATH“path / File1 ....

sql azure azure-data-lake u-sql

回答 1 投票 0

Azure Data Lake：使用ARM和PowerShell成功部署后如何添加用户权限

我通过ARM和PowerShell部署Azure Datalake商店和分析帐户。如何在以后使用其电子邮件地址为Azure Active Directory中存在的某些用户添加权限...

powershell azure deployment azure-resource-manager azure-data-lake

回答 1 投票 0

Azure Data Lake中的U-SQL输出

如果我不知道表中包含多少个不同的键值，是否可以根据列值自动将表拆分为多个文件？是否可以将关键值放入...

azure output azure-data-lake u-sql data-partitioning

回答 3 投票 5

ADLA作业：根据行内容写入不同的文件

我有一个固定宽度文本文件的BUNCH包含多个事务类型，只有我关心的3个（121,122,124）。示例文件：...

azure azure-data-lake u-sql

回答 2 投票 1

ADLS java sdk数据副本

有没有办法使用Azure ADLS java SDK通过安全通道复制数据？ ADLFileOutputStream可用于将数据传输到ADLS。想知道是否有安全的API。

azure azure-data-lake azure-java-sdk

回答 1 投票 0

如何在U-SQL连接中使用OR逻辑运算符？

AND（（Glt.LineNumber == Pct.LineNumber）OR（Glt_1.LineNumber == Pct.UniqueKey_Num））;我想在U-SQL中实现上述条件，但Azure不支持它。我怎样才能做到这一点？

azure azure-sql-database azure-data-lake

回答 2 投票 2

ADF V2中的USQL活动 - 2705用户无法访问datalake商店

使用Azure Data Factory V2运行U-SQL脚本时遇到问题。这个U-SQL脚本在门户网站或vs：@a = SELECT * FROM（VALUES（“Contoso”，1500.0，“2017 -...

azure-data-factory azure-data-lake u-sql

回答 2 投票 1

azure-data-lake 相关问题

最新问题