Flink 1.9没有用于方案的文件系统：kubernetes上的hdfs

Question

我正在尝试将我的项目从Flink 1.4升级到Flink 1.9。在1.4上，我正在构建一个胖jar，其中包含我所有的hadoop 2.9.2依赖项，然后我将它们提交给k8s上的Flink集群。我没有在集群上设置hadoop。

当我将项目升级到1.9并同时升级了集群时，尽管我的代码在我的IntelliJ IDE上运行得很好，但是我无法在集群上运行代码。例外是：

java.io.IOException: No FileSystem for scheme: hdfs
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2660)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2685)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:373)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:172)
...

由于我没有在flink中包含任何hadoop依赖项，因此我假设它仍然可以正常工作，因为所有依赖项都打包到了胖子罐中，因为它在1.4上还可以。

我尝试将依赖度添加到shaded-hadoop2中，这不能解决问题

    compile group: 'org.apache.flink', name: 'flink-shaded-hadoop2-uber', version: '2.4.1-1.8.2'

我猜想为flink设置hadoop路径might可以修复它，并且一直在努力了解我应该如何在Dockerfile中做到这一点。我需要解压缩hadoop 2二进制文件或创建一些jar并将其添加到/flink/lib吗？

我的Dockerfile目前看起来像这样：

FROM openjdk:8-jre
MAINTAINER User "[email protected]"
LABEL version="v1.9.0"

ENV FLINK_HOME=/flink
ENV FLINK_CONF_DIR=/flink/conf
ENV FLINK_APPS_DIR=/flink/apps
ENV FLINK_LIB_DIR=/flink/lib

RUN mkdir -p ${FLINK_HOME}
RUN mkdir -p ${FLINK_CONF_DIR}
RUN mkdir -p ${FLINK_APPS_DIR}
RUN mkdir -p ${FLINK_LIB_DIR}

ENV PATH=$FLINK_HOME/bin:$PATH
ENV CLASSPATH=.:$FLINK_APPS_DIR:$FLINK_LIB_DIR

COPY dist/flink-1.9.0-bin-scala_2.11.tgz ${FLINK_HOME}/flink.tgz
WORKDIR ${FLINK_HOME}

COPY prepare-deployment.sh /
RUN chmod +x /prepare-deployment.sh
RUN /prepare-deployment.sh
RUN rm -rf /prepare-deployment.sh


COPY Tools/netstat /bin/netstat
COPY Tools/ttyd-static-amd64 /bin/ttyd
COPY Tools/jq /bin/jq
COPY Tools/checktm /bin/checktm
COPY Tools/checktm_log /bin/checktm_log

COPY docker-entrypoint.sh /
RUN chmod +x /docker-entrypoint.sh
RUN chmod -R 755 /bin
RUN chmod -R 777 /flink
RUN chmod -R 777 /etc
EXPOSE 6122 6123 6124 6125 6126 6127 8080 8081
ENTRYPOINT ["/docker-entrypoint.sh"]
CMD ["--help"]

Answer 1

在Flink源中，您将找到一个flink-container目录，其中包含用于构建Docker映像的build.sh脚本和一个Dockerfile等。它们的设置是为了帮助您正确获得这些详细信息，并已针对根据您的需要包括hadoop库。