apache-pig 相关问题

Apache Pig是一个分析大型数据集的平台,它包含用于表达数据分析程序的高级语言,以及用于评估这些程序的基础结构。 Pig程序的显着特性是它们的结构适合于大量并行化,这使它们能够处理非常大的数据集。

在PIG中分组数据

我有以下数据名称标记ABC 2 ABC 3 ABC 3 XYZ 1 XYZ 2我希望o / p为ABC 8 XYZ 3 mY脚本如下: - groupdata = GROUP filedata by name; sumdata = FOREACH groupdata GENERATE ...

回答 1 投票 0

为什么mapreduce尝试因“调度程序抢占容器”而被杀死?

我刚刚注意到Hadoop上的许多Pig工作被杀死的原因是由于以下原因:容器被调度程序抢占了有人可以解释一下导致这种情况的原因,如果我应该(并且能够......)

回答 2 投票 0

Hadoop PIG与嵌套的Json

我有一个按用户评分的电影列表。 {“_ id”:59607,“title”:“King Corn(2007)”,“genres”:[“纪录片”],“收视率”:[{“userId”:1860,“rating”:3},{“用户id “:9970,” ...

回答 1 投票 0

Pig:在表中加载,然后在转换后覆盖该表

假设我有一个表:db.table我加载表并对其进行一些转换,最后,尝试将其存储为mytable = LOAD'db.table'USING HCatLoader(); 。 。 - 我的变形。 。商店......

回答 1 投票 1

无法在猪身上进行总和操作

我正在尝试对我的猪数据执行求和操作,但它不接受显式类型转换我已尝试用double替换(int)同时执行求和。代码驱动程序= LOAD'/ sachin / ...

回答 2 投票 0

从猪的txt文件中删除不均匀的空格

我有一个文本文件,空格不均匀,我希望使用pig将其存储为csv文件。我的文件格式为2013 210 0 2878 -7543 4 29 20 116 2013 210 10 2875 -7538 4 32 20 116 .. 。

回答 1 投票 -1

猪安装不起作用

我在盒子上安装了Pig 0.12.0。我还安装了Java和Hadoop,并设置了JAVA_HOME和HADOOP_HOME路径。当Igo到pig安装的bin目录并键入以下内容时...

回答 2 投票 0

Pig脚本用于计算总数,百分比和group by

Pig脚本相对较新。我在下面的脚本中导出按错误代码,名称及其各自计数分组的错误详细信息。 A = LOAD'traffic_error_details.txt'使用PigStorage(',')......

回答 1 投票 0

Hadoop pig连接错误 - historyserver无法启动

基本上有一个问题出现了:例如,这里描述了同样的问题。如果我尝试使用猪脚本,我会收到连接错误。调查一下,历史服务器确实不是......

回答 1 投票 0

Pig ERROR 0:Scalar在输出中有多行

我有两个文件,我试图在模式匹配的基础上加入这两个文件。 File1:weather.bbc.co.uk,112 ads.facebook.com,113 ads.amazon.co.uk,114 www.sky.com,115 news.bbc.co.uk,116 pics ....

回答 1 投票 1

猪下面提到的数据的架构应该是什么?

({(b,c),(d,e)})我试过:(t1:元组(B1:Bag {(a:chararray,b:a:chararray)}));但没有运气。

回答 1 投票 0

错误1066:无法在Pig,Generic解决方案中打开别名的迭代器

Apache Pig中一个非常常见的错误消息是:ERROR 1066:无法打开别名的迭代器有几个问题提到了这个错误,但没有一个给出了一个通用的方法...

回答 2 投票 8

错误1066:无法打开猪的别名迭代器

我正在运行一个猪脚本,如下所示:REGISTER'/home/vishal/FirstUdf.jar'; DEFINE UPPER com.first.UPPER(); A = LOAD'/ home / vishal / exampleforPIG1'AS(交换:chararray,符号:chararray,...

回答 5 投票 3

© www.soinside.com 2019 - 2024. All rights reserved.