YARN（又一个资源谈判者）是第二代Apache Hadoop基础架构的关键组件。不要将它用于JavaScript / Node.js Yarn包管理器（改为使用[yarnpkg]）！最初由Apache描述为重新设计的资源管理器，YARN现在被描述为用于大数据应用的大规模分布式操作系统，包括下一代MapReduce（MR2）。
Apache flink - 在hadoop / yarn集群上提交作业后超时
我正在尝试将我们的工作从flink 1.4.2升级到1.7.1但是在提交工作后我一直遇到超时。 flink作业在我们的带有Yarn的hadoop集群（版本2.7）上运行。我见过......
ENV：ambari 2.7 HDP 3.1.0使用openerap的kerberos集群使用kerberos。从2.6升级后我卸载了KNOX。每当我安装hive / hbase时都会发生这种情况。我不能正常......
Flink Job：获取InvalidClassException：com.fasterxml.jackson.databind.ObjectMapper
我们的flink工作在当地运行得非常好，但在尝试将其部署在纱线集群中时，它会低于错误。 Flink版本：1.5.0 Jackson 2.6.7引起：java.io ....
我在macOS Sierra（Darwin内核版本16.7.0）上安装了Hadoop 2.8.1，除了应用程序/任务跟踪之外，它运行正常。 1）起初，我认为这是一个问题......
我发现纱线UI上节点使用的内存量是8G，但实际上使用free -h命令来检查7.4G的内存使用情况。两个内存不一致的原因是什么？
我使用YARN java API提交Hadoop应用程序而不是终端。我想方法在应用程序完成后通过Yarn API获取纱线聚合日志。当然可以做到......
Hadoop YARN是否有默认的调度程序？想知道如果没有在conf / yarn-site.xml中设置yarn.resourcemanager.scheduler.class怎么办？
如果将一个新作业提交给Apache YARN群集，则状态页面通常会指示作业的实际提交方式（以及其他内容）：应用程序类型：SPARK这表示用户...
你能否帮我弄清楚你部署EMR后到底发生了什么？主要等于本地[x]的群集？ command-runner.jar如何向EMR的主人提交工作？如果我通过“--. ..
我想更好地了解YARN和Spark之间的通信交流。例如：从触发Spark作业到分配......之间的情况会发生什么？
Apache Spark最近将版本更新为0.8.1，其中可以使用yarn-client模式。我的问题是，纱线客户端模式究竟意味着什么？在文件中它说：用纱线-...
为什么java动作System.out在Oozie中执行时会消失？
我正在使用oozie环境。成功完成作业后，我无法在oozie日志中找到System.out.println输出。我用Google搜索了好几个小时，但我发现了这个但没有结果。来自......
我在yarn上设置了一个flink集群，并通过成功在主机上相关的类型命令提交作业。但是它不像web ui那样方便（我已经测试过通过web ui在fink standlone集群上提交作业）....
有两种方法可以在纱线上部署flink应用程序。第一个是使用yarn-session，所有flink应用程序都部署在会话中。第二种方法是每个flink应用程序部署...
我是新来的。现在我可以在纱线上运行spark 0.9.1（2.0.0-cdh4.2.1）。但执行后没有日志。以下命令用于运行spark示例。但是在历史中找不到日志......
我们一直在使用spark-shell中的交互式spark工作或在RStudio等中运行Sparklyr来观察这种行为。假设我在yarn-client模式下启动了spark-shell并执行了一个动作，......
Spark Shell - __spark_libs__.zip不存在
我是Spark的新手，我正在忙着设置启用了HA的Spark Cluster。当启动火花壳进行测试时：bash spark-shell --master yarn --deploy-mode client我收到以下内容......
我有一个安装了spark的docker容器，我正在尝试使用marathon将作业提交到其他集群上的yarn。 docker容器具有纱线和hadoop conf dir的导出值，...
由于“无效的docker rw mount”，Hadoop / Yarn Docker-Container-Executor失败
我正在尝试执行Hadoop / Yarn（版本：2.9.1）Docker-Container-Executor的简单示例：vars =“YARN_CONTAINER_RUNTIME_TYPE = docker，YARN_CONTAINER_RUNTIME_DOCKER_IMAGE = hadoop-docker”...
我的群集（HDP）正在使用YARN容量调度程序。 nameNode UI显示版本2.7.1.2.4.3.30。我试图在我的hive脚本中将作业优先级设置为HIGH：set mapreduce.job.priority = HIGH; ...