Hadoop 2代表了非常流行的开源分布式平台Apache Hadoop的第二代。
当我在纱线群集上运行spark作业时，应用程序正在队列中运行。那么如何在并行数量的应用程序中运行？
我们有一个带有三个不同ID的Hive表，都是可选的。在每行中，必须提供三个ID中的至少一个。如果提供了多个ID，则建立了...之间的等价
我通过我研究的大学提供的VNC软件（远程访问）使用IBM的大量见解，但我无法通过该桌面访问Internet。要使用互联网上的一些数据样本，我...
Hadoop 2.7.3，Spark 2.1.0和Hive 2.1.1。我试图将spark设置为hive的默认执行引擎。我将$ SPARK_HOME / jars中的所有jar上传到hdfs文件夹并复制了scala-library，spark-core，...
我正在设置一个用于学习目的的hadoop集群。为此我尝试安装java并在安装之前通过运行java -version来检查以前安装的java ...
当Hadoop运行时，它有几个组件，如datanode，namenode，scheduler，container等等。我可以运行java 1.8中的datanode，namenode，scheduler和一些修改后的mapreduce容器...
我用这样的命令运行构建：./ mkdistro.sh -DskipTests和这个：./ mkdistro.sh -DskipTests -D hadoop.version = 2.3.0 -P uber -P hadoop-2但是所有都失败并显示错误消息： [错误] ......
我刚刚开始学习hadoop，我对分裂的工作方式有疑问。例如，我有一个像下面的文件与键值 - 2 1121291290r5405454 1 2192949495959454454 2 ...
hadoop集的类路径在哪里？当我运行下面的命令时，它给了我类路径。类路径设置在哪里？ bin / hadoop classpath我正在使用hadoop 2.6.0
当我在mapreduce模式下运行pig时，我收到ConnectionRefused错误。详细信息：我已经从tarball（pig-0.14）安装了Pig，并在bashrc中导出了类路径。我有所有的Hadoop（...
我正在尝试使用beeline cli查询hive表并将输出结果存储为变量。使用beeline命令：beeline -u connection_string -n user_name -w password_file \ -e“从db中选择count（*）....
在apache配置文件中增量数据加载的最佳方法，其中sqoop未将数据加载到HDFS中
我有一个场景 - 使用实用程序数据文件[每次都有相同的名称 - 先删除旧文件然后加载更新/最新文件]从源系统推送到定义的HDFS ...
带有Window功能的Spark 12 GB数据加载性能问题
我正在使用sparksql来转换12 GB数据。我的转换是在一个字段上应用行号和分区，然后将数据分成两组第一组，其中行号为1和第二...
无法实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
Hive shell正在开始，但每当我点击shell中的任何命令时，请说hive> show databases;我收到以下错误：FAILED：SemanticException org.apache.hadoop.hive.ql.metadata ....
将从AWS控制台手动调整正在运行的群集的大小，以及退役和调试
从AWS控制台手动调整正在运行的集群的大小会在内部使用调用和撤销过程吗？我们正在开发EMR集群，我们从aws控制台手动调整集群大小...
线程“main”中的异常org.apache.hadoop.mapred.InvalidInputException：输入路径不存在：
我已经创建了一个输入目录并将示例文件放入其中。我也创建了一个输出目录。但是在mapreduce程序执行时我得到了以下错误。这是我执行的命令...
结束作业= job_local644049657_0014有错误作业期间出错，获取调试信息
如何查找日志文件请指导我已经检查了Resouce经理的网址。但我没有找到任何日志文件这是完整的错误查询ID = hadoop_20170325120040_d54d136a-1904-4af9 -...
我在hadoop中使用yarn应用程序命令的输出来了解使用作业名称运行的mapreduce作业的详细信息。我的群集正在使用HDP分发。是......
在hadfs中我有以下json。 {“result”：[{“sys_tags”：{“display_value”：“d1”，“value”：“v1”}，“user_input”：{“display_value”：“d2”，“value”：“v2”} }，{“sys_tags”：{“display_value”：“d1”，“...