Hadoop 2代表了非常流行的开源分布式平台Apache Hadoop的第二代。
spark-submit集群模式不适用于python spark，但适用于scala spark
我有一个集群，我们有hadoop设置与spark集成。 spark版本是spark v2.0.0，当你在集群模式下部署scala spark时，它按预期工作。以下是命令：...
我正在使用EMR 5.4并且我向纱线提交火花作业当我尝试使用纱线日志-applicationId application_1528461193301_0001来检索日志时，我有以下错误：18/06/08 12:38:01 INFO ...
是否有任何hadoop / yarn命令可以动态列出作业使用的映射器/减速器/插槽的数量
我已经设置了一个小集群Hadoop 2.7，Hbase 0.98和Nutch 2.3.1。我编写了一个自定义作业，简单地首先组合相同域的文档，之后域的每个URL（来自缓存，即列表）是......
是否可以删除Hive中的多个数据库？如何查看表中给出的注释，描述没有显示出来？还有原始数据类型如何使用where子句？
无法从namenode（master）启动集群：datanode（slave）和namenode（master）上的不同$ HADOOP_HOME
我在主服务器和从服务器上使用Hadoop 1.2.1，但我将它们安装在不同的目录上。所以当我在master上调用bin / start-dfs.sh时，我收到以下错误。 partho @ partho-Satellite-L650：......
Hadoop Windows设置。运行WordCountJob时出错：“任何本地目录中都没有可用空间”
我正在关注这个视频教程，尝试在我的机器上设置hadoop。如何在Windows 10上安装Hadoop我已成功设置它：从sbin目录执行start-all.xml时没有错误。 ...
纱线：使yarn-site.xml更改在群集中的工作节点上有效
我们有一个在HDFS 2.7.3上运行的火花流应用程序，Yarn作为资源管理器。在运行应用程序时，这两个文件夹：/ tmp / hadoop / data / nm-local-dir / filecache / tmp / ...
使用Sqoop增量工具需要在--last-value中提供最后修改日期，格式类似于2016-09-05 06：04：27.0。在这种情况下，源MySQL数据库中的问题，update_date ...
我使用Rumen mine作业历史文件，包含job-trace.json和job-topology.json。 GirdMix用法喜欢：$ HADOOP_HOME / bin / hadoop jar $ HADOOP_HOME / share / hadoop / tools / lib / hadoop-gridmix-2.7.3.jar -...
我有一个数据帧syr | P1 | P2 ----------------- 1 | 200 | 300 2 | 500 | 700 3 | 900 | 400我想创建另一个DataFrame，它具有col2和col3之间的最大值。一个......
我有一个自定义类型，其中包含Hadoop本机类型的字段（例如Text和IntWritable），需要在随机/排序阶段使用它作为键和排序。有类似的问题......
我知道在设置新集群时为非root用户配置ambari，但是是否可以在由root运行的现有集群中执行此操作。赞赏你的帮助。
如何在没有HDFS的情况下部署HDP群集，因为我不希望HDFS用于存储，并且将使用内部内存存储系统。如何才能做到这一点？
在大文件的EMR上运行时，Hive Vertex失败，vertexName = Map 2
我在EMR集群上运行我的hive查询，该集群是25个节点的集群，我在stances中使用了r4.4xlarge来运行它。当我运行我的查询时，我得到以下错误。作业提交失败，异常'......
我试图在单节点集群上设置Ambari。 Ambari设置以root用户身份完成我尝试了与此相关的所有帖子，更改权限并设置为权限http：//docs.hortonworks ....
为什么当环境改变Dev to Prod时，这个Unzip shell脚本的行为会有所不同？
output_path = s3：//输出unziped_dir = s3：// 2019-01-03 files =`hadoop fs -ls $ output_path / | awk'{print $ NF}'| grep .gz $ | tr'\ n'''`;对于$ file中的f，回显“可用文件是：$ f”filename = $（...
我们正在使用yarn作为集群管理器运行一个火花流工作，我为每个节点提供了每个节点专用的7个核心...通过yarn-site.xml，如下图所示，当作业运行时......仅...
代码：hadoop jar /home/xnz/local/opt/apache-mahout-distribution-0.13.0/mahout-integration-0.13.0.jar \ org.apache.mahout.clustering.conversion.InputDriver \ -i / user / root / -o / user / root / input / ...
如何远程调试HBase协处理器 - RegionObserver？我正在使用Cloudera Quickstart。有一个问题，但没有关于exec命令放在何处的信息。我也试过......