yarn 相关问题

YARN（又一个资源谈判者）是第二代Apache Hadoop基础架构的关键组件。不要将它用于JavaScript / Node.js Yarn包管理器（改为使用[yarnpkg]）！最初由Apache描述为重新设计的资源管理器，YARN现在被描述为用于大数据应用的大规模分布式操作系统，包括下一代MapReduce（MR2）。

什么是流媒体的Hadoop YARN version命令行选项可能的完整列表？

我是通过Hadoop的网站浏览，发现下面的链接Hadoop的数据流。 https://hadoop.apache.org/docs/current1/streaming.html但是，我更感兴趣的是Hadoop的纱（MRv2） - ...

hadoop mapreduce yarn hadoop-streaming

回答 1 投票 1

纱线优势资源公平

我想实现占优资源公平（DRF）或在apache的纱线其它调度算法。有谁知道如何实现它？有什么资源？干杯

yarn

回答 1 投票 -3

通过rest api运行MapReduce作业

我使用hadoop2.7.1的rest api在集群外部运行mapreduce作业。此示例“ http：//hadoop-forum.org/forum/general-hadoop-discussion/miscellaneous/2136-how-can-i-run-mapreduce-job-by-rest -...

rest hadoop mapreduce yarn

回答 1 投票 2

使用类型安全的配置与成纱星火

我有一个火花的工作，从一个配置文件中读取数据。这个文件是一个类型安全的配置文件。它读取配置的代码看起来像这样：ConfigFactory.load（）getConfig（“com.mycompany”）...

scala apache-spark yarn typesafe-config

回答 2 投票 6

在星火作业中使用ElasticSearch时番石榴罐子冲突

所以我有一段代码，其索引记录到弹性。此代码与火花和Hadoop运行。我刚刚升级Elasticsearch 2.3.1。当我在本地机器上运行我的代码它的工作原理...

hadoop elasticsearch apache-spark yarn

回答 5 投票 3

如何使用纱分配更多的资源来工作

我有几个不同的工作，以Hadoop集群上运行。有些需要很少的资源和更多一些，例如记忆。我想，因为它支持纱线到我的集群上同时运行这些作业。我想，如果我...

hadoop mapreduce yarn

回答 1 投票 0

在使用YARN客户端模式时如何防止Spark执行器迷路？

[嗨，我有一个Spark作业，可以在本地使用较少的数据运行良好，但是当我在YARN上调度它来执行时，我不断收到以下错误，慢慢地，所有执行程序都从UI和我的作业中删除了...

apache-spark yarn

回答 3 投票 46

Apache Hadoop纱线 - 核心利用不足

无论我多少修改yarn-site.xml中的设置，即使用以下所有选项yarn.scheduler.minimum-allocation-vcores yarn.nodemanager.resource.memory-mb yarn.nodemanager ....

hadoop apache-spark yarn resourcemanager

回答 2 投票 22

在运行Spark in Yarn时从资源中读取

在我的Spark工作中，我从资源文件中读取了一些额外的数据。一些示例Resources.getResource（“/ more-data”）它在本地工作得很好，当我从spark-submit master = local [*]运行时我只...

apache-spark yarn

回答 1 投票 0

如何在纱线客户端上运行火花

我试图在yarn-client上运行pyspark，我不确定可能是什么原因而无法正确解释日志从pyspark.sql导入sys导入来自pyspark导入的SparkSession SparkContext，...

apache-spark pyspark yarn

回答 1 投票 1

Spark num-executors

我在AWS上设置了10节点HDP平台。以下是我的配置2服务器 - 名称节点和备用名称节点7数据节点和每个节点有40个vCPU和160 GB内存。我想计算......

apache-spark yarn hortonworks-data-platform

回答 2 投票 3

纱线日志 - 标准输出和stderr成为巨大的文件 - 如何避免这种情况

亲朋好友和学院我们有带有hadoop版本的ambari集群 - 2.6.4集群包括52台datanode机器，以下问题发生在9台数据节点机器上，所以我将解释......

log4j yarn ambari

回答 1 投票 0

如何从ResourceManager Web UI中终止应用程序

有没有办法从RM Web UI中删除应用程序而不是运行yarn应用程序-kill？

hadoop yarn resourcemanager

回答 2 投票 7

我如何修复“文件只能被复制到0个节点而不是minReplication（= 1）。”？

我刚才问了一个类似的问题，并且认为我解决了这个问题，但事实证明它只是因为我正在处理一个较小的数据集而消失了。很多人问过这个......

hadoop hive hdfs yarn cloudera

回答 1 投票 2

log4j在集群模式下写日志的位置是什么？

目的 - 将自定义日志从流媒体应用程序存储到HDFS或UNIX目录以用于流应用程序我正在群集模式下运行spark流程序。但是日志没有写入给定日志...

apache-spark log4j spark-streaming yarn

回答 3 投票 0

spark-submit集群模式不适用于python spark，但适用于scala spark

我有一个集群，我们有hadoop设置与spark集成。 spark版本是spark v2.0.0，当你在集群模式下部署scala spark时，它按预期工作。以下是命令：...

pyspark yarn hadoop2 apache-spark-2.0 spark-submit

回答 1 投票 0

我们在纱线集群中运行时，哪里可以看到火花输出控制台

我是Spark，Hadoop和Yarn的初学者。我安装Spark：https：//spark.apache.org/docs/2.3.0/和Hadoop / Yarn：https：//hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common / ...

apache-spark hadoop yarn

回答 4 投票 1

在Kubernetes上运行Apache Hive（不含YARN）

是否可以在Kubernetes上运行Apache Hive（没有在Kubernetes上运行YARN）？我在网上找不到任何合理的信息 - 在Kubernetes上运行Hive这样一个不寻常的事情......

hive kubernetes yarn

回答 1 投票 3

如何解决YARN日志中的日志聚合未完成或未启用错误

我正在使用EMR 5.4并且我向纱线提交火花作业当我尝试使用纱线日志-applicationId application_1528461193301_0001来检索日志时，我有以下错误：18/06/08 12:38:01 INFO ...

hadoop hdfs yarn hadoop2 amazon-emr

回答 1 投票 2

用于列出HADOOP 2.x中映射器和缩减器数量的命令

是否有任何hadoop / yarn命令可以动态列出作业使用的映射器/减速器/插槽的数量