YARN（又一个资源谈判者）是第二代Apache Hadoop基础架构的关键组件。不要将它用于JavaScript / Node.js Yarn包管理器（改为使用[yarnpkg]）！最初由Apache描述为重新设计的资源管理器，YARN现在被描述为用于大数据应用的大规模分布式操作系统，包括下一代MapReduce（MR2）。
如何在YARN上启动Spark应用程序之前等待所有执行程序分配？
我们在纱线集群上运行火花作业，发现即使没有足够的资源，火花作业也会启动。举一个极端的例子，一个火花作业要求1000个执行器（4个核心和...
为什么YARN上的驱动程序和执行程序的核心数与请求的数量不同？
我在集群模式下使用以下驱动程序核心部署了一个spark作业 - 1个执行程序核心 - 2个执行程序数量 - 2.我的理解是该应用程序应占用...中的5个核心
我想使用apache spark集成Yarn。我在我的电脑上安装了spark，jdk和scala。我的数据保存在Cassandra数据库中。我还为slave创建了另一个服务器。 Spark版本 - 2 ....
我是大数据技术的新手。我必须在EMR上以集群模式运行spark工作。这个工作是用python编写的，它依赖于几个库和一些其他工具。我已经 ...
我的应用程序是通过本指南中的Kerberos keytab和Principal通过spark-submit以纱线集群模式从远程PC启动的：https：//spark.apache.org/docs/latest/running-on-yarn.html。 ......
Spark应用程序不读取Jar中存在的log4j.properties
我正在使用MapR5.2 - Spark版本2.1.0而且我在Yarn CLuster模式下运行我的spark app jar。我已经尝试了我找到的所有可用选项但是无法成功。这是我们的生产......
如何在工作机器上增加磁盘的情况下更新blueprint / ambari集群
我们有3台主机的ambari集群，2台kafka和3台工人机器，每个工人有5个磁盘：/ dev / sdb 200G 477M 200G 3％/ gr / sdb / dev / sdc ...
我想使用Spark REST API获取指标并发布到云监视。但是RESR API就像：val url =“http：// ：4040 / API / V1 /应用/ /阶段“如果我给...
无尽的INFO客户端：针对Spark提交的application_xx（状态：ACCEPTED）消息的应用程序报告
当我在集群模式下使用Hadoop和Yarn提交Spark应用程序时。纱线客户端状态卡在接受状态，它永远不会更改为运行。我正在使用Centos 7 Hadoop Cluster，它有1 ...
我想使用API 管理YARN容量队列。我创建了Hadoop的安全策略，我通过curl做了：hadoop_policy（）{curl -H“Content-Type：application / json”-u“$ {ranger_admin}：$ {...
我关注'acl_administer_jobs'和'acl_submit_applications'属性。我猜测默认值是“*”，但由于单个空格“”表示无法访问，我不确定。我可以在哪里 ...
我在Hadoop Yarn Fair Scheduler中寻求您的帮助。我的理解如下：默认的YARN设置允许当队列未被应用程序显式时它将在...上创建队列
我想在Hadoop YARN集群模式下运行我的spark Job，我使用以下命令：spark-submit --master yarn-cluster --driver-memory 1g --executor-memory 1g ...
我在hadoop中使用yarn应用程序命令的输出来了解使用作业名称运行的mapreduce作业的详细信息。我的群集正在使用HDP分发。是......
我试图使用hadoop get merge在集群中合并80 GB文件，但是由于hadoop get merge具有将文件从hdfs复制到本地文件系统的属性，我必须复制到本地然后...
有没有人有蜂巢错误代码列表？例如，如果我们在配置单元中找到一个未找到表的错误，则为“echo $？”的值将是17。
设置场景我有一个用scala编写的火花流应用程序。在这个应用程序中，我需要将数据传递给python脚本。我现在怎么做在驱动程序主类：ssc ....
我们可以将MR作业提交给hadoop集群的最佳方式是什么？场景：开发人员有自己的id，例如dev-user1，dev-user2等.Hadoop集群有各种各样的id ...
我尝试为我的4节点集群配置Yarn和Spark。每个节点都有以下规格：24核23.5 GB RAM交换我配置Yarn和Spark到目前为止Spark可以执行SparkPi ...