Hadoop 2代表了非常流行的开源分布式平台Apache Hadoop的第二代。
当字符串包含UDF时，如何传递List [String]来选择或选择spark中的EXP
我有List [String]，如下所示val colList = List（verifyLength（$“col1”，lit（0），lit（0），lit（“RJ”），lit（9））。as（“col1”）， verifyLength（$“col2”，点亮（0），点亮（0），点亮（“RJ”），点亮（16））。as（“col2”））当...
我已经建立了一个多节点Hadoop集群。 NameNode和Secondary namenode在同一台机器上运行，集群只有一个Datanode。所有节点都在Amazon EC2计算机上配置。 ...
如何在Mapreduce作业的Mapper中获取数据分片的文件路径？
我有一个mapreduce作业，其中文件输入路径是：/basedirectory/*/*.txt在基本目录中，我有不同的子文件夹（CaseA，CaseB等），每个子文件夹都包含hdfs文本文件。在里面 ...
使用exitCode退出的mapreduce作业：-1000在src文件系统上更改了资源
应用程序application_1552978163044_0016失败了5次，因为AM容器的appattempt_1552978163044_0016_000005已退出exitCode：-1000诊断：java.io.IOException：资源...
我试图在伪分布式模式下安装Hadoop 2.2.0。当我尝试启动datanode服务时，它显示以下错误，任何人都可以告诉如何解决这个问题？ ** 2 ** ...
我怎样才能看到AWS redshift中存储的元数据，数据沿袭？
我正在使用cloudera navigator，atlas和Wherehows等解决方案来获取Hadoop，HDFS，HIVE，SQOOP，MAPREDUCE元数据和沿袭。现在我们在AWS redshift中也有一个数据仓库。有没有 ...
我是大数据的新手。我有一个关于hadoop安装的问题。目前我在VirtualBox上使用图像，但我想在openstack上创建一个集群。起初我以为我只是......
我正在尝试在我的Hadoop集群上使用Mahout Library，我已经安装了所有先决条件，如Hadoop，java和maven。我已经下载了Mahout库，当我尝试使用'mvn ...
将近50GB的CSV文件加载到Hadoop集群中，我希望看到一些用于标识列的示例记录。我尝试过使用hadoop fs -cat employees.csv | head -n 10我的问题是......
我有以下数据集。 client-Id名称HasCar HasHome A01 ABC Y N A01 ABC N N B01 EFG N N B01 EFG N ...
Hadoop Mapreduce（Java） - 使用Reducer as Combiner计算文本中所有唯一单词的错误
我调整了标准字数Hadoop示例，使用用户定义的计数器计算一系列输入文本文件中的所有唯一字，并在驱动程序类中定义枚举，如下所示：public ...
为什么Hadoop Mapreduce分布式处理比正常的顺序处理需要更长的时间？
我在Java中编写了一个简单的代码来读取csv文件，在行中稍作修改（使用哈希），然后写入输出文件。我想比较顺序版本（普通java）和MapReduce ......
为Apache-Flink提交作业时的Amazon EMR在Hadoop可恢复时出错
添加了依赖关系Pom详细信息： org.apache.flink flink-clients _2.11
我想从HDFS复制文件。我希望在复制文件时排除文件夹。我尝试了hdfs dfs -copyToLocal，但它也在我测试时复制目录。是否有任何方式/命令来复制文件，但......
Hadoop fs -du-h按M，G，T，P，E，Z，Y的大小排序
我正在运行此命令 - sudo -u hdfs hadoop fs -du -h / user | sort -nr和输出没有根据演出，Terabytes，gb排序我找到了这个命令 - hdfs dfs -du -s / foo / bar / * ...
错误：java.lang.ClassNotFoundException：org.apache.hive.jdbc.HiveDriver postgres外部数据包装器
= #SELECT code，total_emp FROM sample_07 ORDER BY code LIMIT 3; **错误：java.lang.ClassNotFoundException：org.apache.hive.jdbc.HiveDriver ** at java.net.URLClassLoader.findClass（...
我想知道Hive中NULLIF的替换是什么？我正在使用COALESCE，但它不符合我的要求。我的查询语句如下：COALESCE（A，B，C）AS D COALESCE将......
在设置多节点hadoop集群时，我遇到了几个问题。通过不同的门户网站进行正确设置。出现了一些基本问题我正在使用Hadoop 2.8.5来建立一个2节点......
我已经从NOAA下载了天气.txt文件，它们看起来像：WBAN，Date，Time，StationType，SkyCondition，SkyConditionFlag，Visibility，VisibilityFlag，WeatherType，WeatherTypeFlag，DryBulbFarenheit，...
在创建表时，我可以在配置单元中一次使用2个字段终止符（如“，”和“。”）吗？
我有一个id和年份的文件。我的田地被分开了，并且..我有没有机会在被我终止的田地里使用，和。？