如何配置Flink集群通过web ui进行日志记录？

Question

我有一个Flink集群设置，我希望能够查看JobManager和TaskManagers的日志和标准输出。当我转到web ui时，我在相应的选项卡上看到以下错误消息：

JobManager:
    Logs
        (log file unavailable)
    Stdout
        (stdout file unavailable)

TaskManager
    Logs
        Fetching TaskManager log failed.
    Stdout
        Fetching TaskManager log failed.

我可以看到有一些配置参数可以设置，特别是taskmanager.log.path，job manager.web.log.path和env.log.dir。但是，没有提到这些应该是网络可访问路径还是本地路径等。

为了能够查看任务管理器和作业管理器日志，我需要做什么？

Answer 1

我发现如果你正在运行官方Flink码头工具容器（https://hub.docker.com/_/flink），它默认将所有东西都吐到控制台（即码头工人最佳实践，一般来说我猜）。因此，似乎与调整相关的log4j配置是/opt/flink/conf/log4j-console.properties。这是jobamanger(s)和taskmanager(s)的情况。

因此，我已经将该文件配置为不只是吐出到控制台而且还是文件（在我的情况下是滚动的）：

log4就-console.properties:

    log4j.rootLogger=INFO, console, file
    # Uncomment this if you want to _only_ change Flink's logging
    #log4j.logger.org.apache.flink=INFO
    # The following lines keep the log level of common libraries/connectors on
    # log level INFO. The root logger does not override this. You have to manually
    # change the log levels here.
    log4j.logger.akka=INFO
    log4j.logger.org.apache.kafka=INFO
    log4j.logger.org.apache.hadoop=INFO
    log4j.logger.org.apache.zookeeper=INFO
    # Log all infos to the console
    log4j.appender.console=org.apache.log4j.ConsoleAppender
    log4j.appender.console.layout=org.apache.log4j.PatternLayout
    log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
    # Log all INFOs to the given rolling file
    log4j.appender.file=org.apache.log4j.RollingFileAppender
    log4j.appender.file.file=/opt/flink/log/output.log
    log4j.appender.file.MaxFileSize=5MB
    log4j.appender.file.MaxBackupIndex=5
    log4j.appender.file.append=true
    log4j.appender.file.layout=org.apache.log4j.PatternLayout
    log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
    # Suppress the irrelevant (wrong) warnings from the Netty channel handler
    log4j.logger.org.apache.flink.shaded.akka.org.jboss.netty.channel.DefaultChannelPipeline=ERROR, console, file

上面结合下面的flink-conf.yaml能够在Jobmanager的Log选项卡中显示jobmanager的日志，并在Taskmanager的Log选项卡中显示taksmanager的日志。

弗林克-conf.yaml：

    # General configuration
    taskmanager.data.port: 6121
    taskmanager.rpc.port: 6122
    jobmanager.rpc.port: 6123
    blob.server.port: 6124
    query.server.port: 6125
    jobmanager.rpc.address: <your location>
    jobmanager.heap.size: 1024m
    taskmanager.heap.size: 1024m
    taskmanager.numberOfTaskSlots: 1
    web.log.path: /opt/flink/log/output.log
    taskmanager.log.path: /opt/flink/log/output.log

注意：我在Flink 1.8.0上，在Kubernetes中运行一个小型集群（即为作业管理员和任务管理员分别设置的集群）

Answer 2

JobManager Web UI远程请求TaskManager日志，因此这些日志不必驻留在共享文件系统上。另一方面，JobManager日志似乎从本地文件系统中读取。

使用默认的log4j.properties，所有日志文件都将写入log.file属性指定的路径。使用默认的Flink启动脚本，此属性中的目录由env.log.dir配置选项（通过FLINK_LOG_DIR变量）控制。

当JobManager从TaskManager请求日志时，taskmanager.log.path似乎才会被使用。但是，如果没有设置log.file会有回退，这会导致正确的目录被自动使用。同样，当设置jobmanager.web.log.path时，log.file甚至根本不被使用。

因此，我认为taskmanager.log.path和jobmanager.web.log.path与生产部署无关，也无法说明它们应该如何使用（参见my corresponding Flink bug report）。您可以设置env.log.dir来控制日志文件位置，原则上它也应该与Web UI一起使用。