yarn 相关问题

YARN(又一个资源谈判者)是第二代Apache Hadoop基础架构的关键组件。不要将它用于JavaScript / Node.js Yarn包管理器(改为使用[yarnpkg])!最初由Apache描述为重新设计的资源管理器,YARN现在被描述为用于大数据应用的大规模分布式操作系统,包括下一代MapReduce(MR2)。

列出锁定文件中所有依赖项的依赖项

是否可以从锁定文件(npm / pnpm / yarn)中列出特定依赖性的所有依赖性?与yarn ls相反,如果npm / ...中有内置命令,我宁愿不读取锁定文件。

回答 1 投票 0

将Hortonworks群集上的Spark日志集成到Azure Monitor

我在Azure上拥有我的Cloudbreak Hortonworks群集。我想将我的Spark应用程序日志从Hortonworks群集集成到Azure监视器以执行日志分析。任何建议或指向...

回答 1 投票 0

如何在Haddop中查找用户正在运行的作业数量?

我想知道在没有任何UI应用程序的情况下在Hadoop中运行的作业数量,实际上,我对表进行某种查询更感兴趣。

回答 1 投票 0

Apache Spark如何收集和协调执行者的结果

发布此问题以了解Apache Spark如何收集和协调执行者的结果。假设我正在与3个执行者一起工作。我的DataFrame已分区并在这3个分区上运行...

回答 1 投票 0

从Github操作中检索Github Registry npm软件包

我已成功将@ myorganization / my-super-lib部署为GH npm软件包。现在,我想在其他GH项目中使用它。这是一个私有库,也是一个私有项目(重要的是要记住,...

回答 1 投票 1

确定Hadoop集群中的减少插槽数量

使用Java API,如何确定当前集群的减少插槽总数? (如果我可以获得当前正在使用的插槽数,那将是一个好处。)我的用例:我有一个Hadoop作业...

回答 1 投票 1

。env变量不是字符串,当试图“构建我的Firebase项目?”>

我正在尝试在生产版本上测试我的项目,但是每次我使用'yarn build'来构建项目,然后使用'yarn start'启动它时,Firebase都会给我这个错误:projectId必须为...] >

回答 1 投票 0


纱线:错误:连接ECONNREFUSED 127.0.0.1:443

当我通过纱线安装ELM时,我得到-错误------------------------------------ -----------------------------------在获取以下URL时出了点问题:https://github.com。 ...

回答 1 投票 0

OOZIE成功运行MR作业,但从未收到状态更新

我有一个运行名称节点,数据节点,作业历史记录,yarnmaster,oozie和mysql的容器的docker网络。我的oozie可以将作业成功提交到我的hadoop集群。作业将成功,但是...

回答 1 投票 0

'yarn install --force'是否更新依赖项?

我知道yarn install --force将获取所有软件包,即使是已经安装的软件包。我有一个yarn.lock文件,所有依赖项均已锁定。将'yarn install --force'升级...

回答 1 投票 0

黄昏纱KilledWorker没有有意义的回溯

我使用dask-yarn和dask网站上提供的脚本在EMR上部署了dask。我尝试在s3中读取和读取avro文件,但出现KillerWorker异常,但对...

回答 1 投票 1

yarn --version返回1.15.2,但在package.json中为1.19.1

我只是在React Native 0.61.2应用程序上重新安装yarn到最新的1.19.1。 npm install yarn然后再用yarn install重新安装模块,先进行yarn然后安装--version仍然返回1.15.2 ...

回答 1 投票 0

在AWS EMR Jupyter Notebook中,如何将用户从livy更改为hadoop

我创建了一个AWS EMR集群,并上传了sparkify_log_small.json并使用下面的代码创建了一个EMR Jupyter Notebook,该代码认为它可以从用户(hadoop)主目录读取。 sparkify_log_data = ...

回答 1 投票 0

在Kubernetes / Mesos中运行YARN集群

我正在使用YARN在spark上运行一组dockerized应用程序,我想知道在Kubernetes中部署集群是否可行,或者Mesos是更好的选择?我将不胜感激...

回答 1 投票 2

Spark的Hadoop YARN资源分配缓慢

我有这个问题,其中YARN分配资源用于Spark的速度非常慢,有时添加执行器太晚了。这是在停电之后开始的,在我重新启动集群之后,它开始表现得很慢...

回答 1 投票 0

ResourceManager无法启动

我在具有Ambari(1个Ambari服务器和3个Ambari客户端; DNS条目服务器,node0,node1,node2)和HDFS,YARN,MapReduce和Zookeeper的4个VM上安装了Hadoop(HDP 2.5.3)。但是,YARN ...

回答 1 投票 1

使用NodeJS访问cli全局文件

我正在开发可以在本地或全局安装的cli模块。它引用了在cli过程中要使用的本地模板(例如,将其中一些复制到当前文件夹中,...)。怎么可以...

回答 1 投票 0

[gcloud dataproc作业以root用户身份提交spark提交作业

我正在尝试使用'gcloud dataproc作业提交spark'来提交spark作业,我将spark.master设置为yarn。当作业在dataproc集群上执行时,它是使用root用户执行的,是...

回答 1 投票 0


© www.soinside.com 2019 - 2024. All rights reserved.