u-sql 相关问题

U-SQL是为Azure Data Lake设计的查询语言。它提供了一种将SQL关键字与语法C#表达式混合的方法,这样在一个脚本中,程序员可以对来自非结构化源的数据进行模式化,使用SQL将数据聚合为所需的形式,然后将输出写入文件或桌子。

如何使用Data Lake Analytics将数据处理为具有最大大小的多个文件?

我正在使用Azure Data Lake Analytics处理大量小型JSON文件,我想将结果保存到多个JSON文件(如果需要的话),最大大小(例如128MB)这可能吗? ...

回答 1 投票 0

U-SQL在使用Text Extractor后忽略在JsonFunctions.JsonTuple()中导致JSON异常的行

我正在尝试将JSON文件转换为csv,提取一些感兴趣的特定键/值。我有大文本文件(> 100万行),其中每行是一个JSON对象。实际结构是嵌套的......

回答 2 投票 1

断点后面的U-SQL代码未命中

我只是在学习Azure数据湖分析和U-SQL。我有一个简单的脚本运行并产生预期的输出。但是,当我在帮助器方法后面的代码中设置断点时,它永远不会......

回答 3 投票 1

从Azure Data Factory管道中的Azure Data Lake Storage中删除临时文件(首选SQL)

我们使用AdLS(Azure数据湖存储)作为ADF(Azure数据工厂 - V2)管道中的临时存储。删除临时存储在ADLS中的数据的最佳方法是什么?仅限U-SQL ...

回答 1 投票 0

U-SQL Python扩展:性能非常慢

我正在做一些看似微不足道的事情,这比我想象的要长得多。我正在加载一个70MB的文件,通过一个调用不会修改数据的Python脚本的reducer运行它,...

回答 2 投票 0

U-sql引用了用4.5.1构建的程序集?而需要记录4.5

据记载,U-SQL使用.net 4.5 https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-u-sql-programmability-guide#use-assembly-版本所以确保我们自己......

回答 3 投票 1

在u sql中合并2个不相等的列大小的行集

我有一个包含3列的rowsetA。我需要将此rowsetA添加到现有的rowsetB,该rowsetB具有上述3列以及其他列。如何在2个行集之上添加/ union,以便rowsetA将......

回答 1 投票 0

我们如何从azure数据湖中获取前100条记录

我有一个.tsv格式的200GB数据,我必须使用U-SQL从Azure数据湖中获取前100条记录。

回答 1 投票 -2

自定义行分隔符和json上的U-SQL自定义提取程序

我有几个具有以下数据结构的文本文件:{跨越多行的巨大json块} - #newjson# - {跨越多行的巨大json块} - #newjson# - {...

回答 2 投票 0

将DocumentDB集合移动到Azure Data Lake存储

我想知道将documentDB移动到Azure Data Lake Storage的最佳做法是什么。我应该为集合中的每个文档创建一个文件还是移动整个documentDB?我也没找到......

回答 2 投票 11

从SELECT语句生成/返回空数据时如何导致U-SQL脚本失败?

我有一个U-SQL脚本,它使用一些UDO处理一些数据,然后最终将文件输出回Azure Data Lake。预期的行为是,如果生成的文件为空,则...

回答 1 投票 1

如何使用U-SQL使用上面的数据填充空白单元格

我有一个csv文件,我试图使用Azure Data Lake Analytics U-SQL处理。我是U-SQL的新手,所以请耐心等待。原始文件是半结构化的,我设法修复使用...

回答 4 投票 1

在ADF管道中将字符串转换为日期

我是U Sql脚本的新手,需要将我的日期字段转换为我的blob存储中的CSV文件字符串。 Mt Blob链接到包含Date字段的DB表。 DB不是......

回答 1 投票 1

使用COPY DATA活动与SQL表和使用CREATE EXTERNAL TABLE有什么区别?

我有一堆U-SQL活动来操作和转换Azure Data Lake中的数据。除此之外,我得到一个包含我所有事件的csv文件。接下来我只想使用复制数据活动......

回答 1 投票 0

如何在U-SQL EXTRACT语句中处理丢失的文件?

我有以下EXTRACT语句,它从暂存文件和生产文件中获取数据:DECLARE @staging string =“/ staging /events.csv”; DECLARE @production string =“/ ...

回答 1 投票 1

虚拟文件集列和行集变量U-SQL

我在Data Factory中安排作业时遇到问题。我正在尝试每小时接近一个预定的工作,这将每小时执行相同的脚本,条件不同。考虑我有一堆......

回答 3 投票 3

U-SQL + Pandas Merge_asof

我是第一次使用Azure Data Lake Analytics,我不确定如何合并2个数据集,就像我在python中使用pandas一样。我正在合并两个具有不同时间戳的数据集,但......

回答 1 投票 1

如何对U-SQL脚本进行单元测试?

我目前有一个带有一组不同脚本的U-SQL项目,我正在尝试为它们创建单元测试。我可以使用带有一组测试数据的Azure Data Lake工具在本地运行脚本...

回答 1 投票 1

如何在U-SQL中抛出错误或引发异常?

用于在U-Sql脚本中引发错误或异常的机制是什么?我有一个处理CSV文件的场景,如果在其中找到重复项,那么我需要放弃处理。在......

回答 1 投票 2

安装Azure U-SQL Extensions以在本地运行R / Python脚本?

我们可以在Azure Data Lake Analytics中使用R / Python代码扩展U-SQL脚本,但我们如何在本地进行?

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.