YARN（又一个资源谈判者）是第二代Apache Hadoop基础架构的关键组件。不要将它用于JavaScript / Node.js Yarn包管理器（改为使用[yarnpkg]）！最初由Apache描述为重新设计的资源管理器，YARN现在被描述为用于大数据应用的大规模分布式操作系统，包括下一代MapReduce（MR2）。
Spark作业失败：storage.DiskBlockObjectWriter：恢复对文件的部分写入时未捕获的异常
我有一个在Yarn上运行的Spark（1.4.1）应用程序，它使用以下执行程序日志条目失败：16/07/21 23:09:08 ERROR executor.CoarseGrainedExecutorBackend：Driver 9.4.136.20:55995 ...
我在一台机器上启动flink（bin / start-cluster.sh），并通过flink web UI提交作业。如果这个工作有问题，比如sink mysql表不存在或者keyby字段错误，不...
例外：java.lang.NoSuchMethodError：org.apache.http.client.utils.URLEncodedUtils.parse（Ljava / lang / String; Ljava / nio / charset / Charset;）Ljava / util / List;
我正在使用zeppelin笔记本在s3中保存数据帧。 df = spark.sql（“select * from person”）df.write.mode（'overwrite'）。option（“header”，“true”）.csv（“s3a：// file / location /”）我是得到错误......
我正在使用一个ec2 hadoop集群，它由20台c3.8xlarge机器组成，每台机器有60 GB RAM和32个虚拟CPU。在每台机器上，我都设置了纱线和mapreduce设置，如下所示https：// ...
我正在使用带有纱线轮廓的giraph-1.3。为了开始，我在ec2集群上配置了1个namenode和2个datanode。我的应用程序正常工作，因为我看到日志中的预期输出（以及输出...
当我在纱线群集上运行spark作业时，应用程序正在队列中运行。那么如何在并行数量的应用程序中运行？
AWS上的Hadoop提供“java.net.ConnectException Connect denied”
我几天前在AWS上设置了Hadoop，并运行了一个wordcount测试。但是这项任务在40分钟内没有取得任何进展。包括上传的任务纱线在内的任何任务也不起作用。我有1个Namenode（Master）......
EMR 5.x | Spark on Yarn |退出代码137和Java堆空间错误
我一直得到这个错误容器退出时使用非零退出代码137同时在纱线上运行spark。经过一段时间后我尝试了几种技术但没有帮助。火花 ...
Oracle数据库JDBC驱动程序无法从Spark读取钱包文件
目标我正在尝试从在Yarn上运行的Spark应用程序写入Oracle的ADWC（基本上是oracle数据库）。连接到此数据库的唯一方法是使用Oracle Wallet文件，该文件...
Spark提交成功但Airflow Bash操作员失败，退出代码127
我正在使用气流bash运算符来运行spark-submit作业。火花作业需要一些参数。最后一个参数是一个字符串，可以使用“，”和“|”转换为嵌套数组分裂。 ...
我有进入hive外部表（Hbase）的导入工作。由于我的数据太大，我看到500个映射器被打开并被执行。但我想控制并发映射器的数量需要...
当我提供spark-shell或Spark-shell --master yarn时，我在控制台上找不到跟踪Url。假设我已经更改了执行程序和执行程序内存的数量，我想使用...来验证这些更改
Map-reduce作业生成几个映射器并在Yarn中运行。如何批量运行这些映射器。假设MR作业产生了100个地图，如何一次只运行10个以及如何配置下一个10个地图...
如何在spark-submit命令中指定要使用的java版本？
我想在远程服务器上的纱线群集上运行火花流应用程序。默认的java版本是1.7，但我想使用1.8作为我的应用程序，它也在服务器中，但不是...
在运行启用了本机内存跟踪的Java应用程序（在YARN中）时（-XX：NativeMemoryTracking =详细信息请参阅https://docs.oracle.com/javase/8/docs/technotes/guides/vm/nmt-8.html和HTTPS：//docs.oracle ....
我通过以下方式配置Google Cloud Dataproc集群：gcloud dataproc集群创建spark --async --image-version 1.2 \ --master-machine-type n1-standard-1 --master-boot-disk-size ...
从官方spark文档（http://spark.apache.org/docs/1.2.0/running-on-yarn.html）：在yarn-cluster模式下，Spark驱动程序在应用程序主进程内运行，该进程由...
我使用spark-sql读取一个大表并生成100,000个任务。我知道我可以设置num_of_partitions，但它会对小表做同样的事情。有没有办法限制每个的大小......
纱线工作空间 - 无法解析'agrostar-styled-components'
我正在尝试纱线中的工作空间按照以下步骤打开纱线中的工作空间-yarn config set workspaces-experimental true package.json in top level - “workspaces”：[“src / utilities / styled”] ...