Yarn 集群上的 Flink jon

问题描述 投票:0回答:0

我正在尝试在我的 Mac 上的 YARN 上运行 Flink 作业。为此,我做了以下

1 下载了 YARN 自带的 Hadoop 并更新了类路径 2 下载Flink并cd到/Users//flink-1.16.1/bin 3 处决

./bin/flink run-application -t yarn-application \
-Djobmanager.memory.process.size=2048m \
-Dtaskmanager.memory.process.size=4096m \
./examples/batch/WordCount.jar

但我得到以下输出,它不断尝试连接到资源管理器

SLF4J:类路径包含多个 SLF4J 绑定。 SLF4J:在 [jar:file:/Users/vasu/flink-1.16.1/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class] 中找到绑定 SLF4J:在 [jar:file:/opt/homebrew/Cellar/hadoop/3.3.4/libexec/share/hadoop/common/lib/slf4j-reload4j-1.7.36.jar!/org/slf4j/impl/ 中找到绑定StaticLoggerBinder.class] SLF4J:有关解释,请参阅http://www.slf4j.org/codes.html#multiple_bindings。 SLF4J:实际绑定类型为 [org.apache.logging.slf4j.Log4jLoggerFactory] 2023-04-27 12:21:04,214 WARN org.apache.flink.yarn.configuration.YarnLogConfigUtil [] - 配置目录('/Users/vasu/flink-1.16.1/conf')已经包含一个 LOG4J 配置文件.如果要使用logback,请删除或重命名日志配置文件。 2023-04-27 12:21:04,246 信息 org.apache.hadoop.yarn.client.DefaultNoHARMFailoverProxyProvider [] - 在 /0.0.0.0:8032 连接到 ResourceManager 2023-04-27 12:21:04,331 信息 org.apache.flink.yarn.YarnClusterDescriptor [] - 没有传递 flink jar 的路径。使用类 org.apache.flink.yarn.YarnClusterDescriptor 的位置来定位 jar 2023-04-27 12:21:06,464 INFO org.apache.hadoop.ipc.Client [] - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已尝试 0 次;重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 2023-04-27 12:21:08,472 INFO org.apache.hadoop.ipc.Client [] - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已经尝试过 1 次;重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 2023-04-27 12:21:10,481 INFO org.apache.hadoop.ipc.Client [] - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已经尝试过 2 次;重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 2023-04-27 12:21:12,487 INFO org.apache.hadoop.ipc.Client [] - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已尝试 3 次;重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 2023-04-27 12:21:14,496 INFO org.apache.hadoop.ipc.Client [] - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已尝试 4 次;重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 2023-04-27 12:21:16,505 INFO org.apache.hadoop.ipc.Client [] - 重试连接到服务器:0.0.0.0/0.0.0.0:8032。已尝试 5 次;重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

apache-flink hadoop-yarn
© www.soinside.com 2019 - 2024. All rights reserved.