在Apache spark中,如何在spark中启用动态执行程序的情况下,Apache ignit如何在所有辅助节点上进行自身部署

问题描述 投票:1回答:1

我遍历了IgniteContext的代码,在所有执行程序节点上都使用了部署ignite的模式,我发现在spark context parallize方法的帮助下,将ignite实例内部部署在所有执行程序中,使用spark事件侦听器停止了ignite实例。 (即在应用程序结束时)。我不知道是否在动态添加的火花执行器上部署了ignite?我在IgniteContext中找不到任何此类代码。可以对此发表评论吗?

apache-spark ignite
1个回答
0
投票
检查了点火代码以发现点火在所有执行程序节点上执行了任务。如果尚未在spark的执行程序节点上部署任务,则将部署ignite。

另外,它附加一个事件侦听器,以检查是否产生了新的执行程序节点,以及是否再次产生在该节点上运行相同的任务。在应用程序端,它将停止点燃实例。

© www.soinside.com 2019 - 2024. All rights reserved.