如何尾纱原木？

Question

我使用下面的命令提交Spark Job。我想使用类似于Linux框中的tail命令操作的应用程序Id来拖尾纱线日志。

export SPARK_MAJOR_VERSION=2
nohup spark-submit --class "com.test.TestApplication" --name TestApp --queue queue1 --properties-file application.properties --files "hive-site.xml,tez-site.xml,hbase-site.xml,application.properties" --master yarn --deploy-mode cluster Test-app.jar > /tmp/TestApp.log &

Answer 1

不容易。

“YARN logs”实际上并不在YARN中，它们实际上位于Spark的执行程序节点上。如果启用了YARN日志聚合，则日志位于HDFS中，并可从Spark History服务器获得。

行业部署模式是将Spark log4j属性配置为使用日志转发器（如Filebeat，Splunk，Fluentd）写入文件，然后这些进程将数据收集到Solr，Elasticsearch，Graylog，Splunk等搜索引擎中。在这些工具中，您可以在CLI之外近似拖尾/搜索/分析日志消息。

Answer 2

如果通过“Yarn logs”表示您的执行者日志，您可以轻松地查看它，或者如果您可以访问提交纱线作业的执行机器，则可以查看它。你必须这样做：

yarn logs -applicationId <you app ID>

在执行机器上。如果已正确配置，您可以在纱线UI中查看主日志。