当副本包含空格时如何使用bazel交叉编译docker build图像上的tensorflow-serving

问题描述 投票:1回答:1

背景信息

我想在不支持标准tensorflow构建中使用的现代cpu指令的某些较旧的机器(目标系统)上运行tensorflow-serving。我使用这些instructions通过docker安装tf-serving。但是我遇到了类似于此Tensorflow Serving Illegal Instruction core dumped的错误one on github。建议的解决方案是使用docker构建映像在我的目标系统上编译二进制文件,该文件描述为here

由于这部分与复制我的问题有关,因此我将在此处复制相关命令:

git clone https://github.com/tensorflow/serving
cd serving
docker build --pull -t $USER/tensorflow-serving-devel -f tensorflow_serving/tools/docker/Dockerfile.devel .

这将在速度较慢的目标计算机上的Docker容器中编译带有标志-march=native的二进制文件,并且可以工作。


目标系统信息

但是,在我的旧计算机上,编译需要花费很多时间,我想使用其他功能更强大的PC对二进制文件进行交叉编译。我使用此answer中提供的命令来找出目标系统所需的编译标志,以复制构建标志-march=native,该标志是上述过程中隐式使用的默认标志。

gcc -### -E - -march=native 2>&1 | sed -r '/cc1/!d;s/(")|(^.* - )//g'

给我以下标志:

-march=core2 -mmmx -mno-3dnow -msse -msse2 -msse3 -mssse3 -mno-sse4a -mcx16 -msahf -mno-movbe -mno-aes -mno-sha -mno-pclmul -mno-popcnt -mno-abm -mno-lwp -mno-fma -mno-fma4 -mno-xop -mno-bmi -mno-bmi2 -mno-tbm -mno-avx -mno-avx2 -mno-sse4.2 -mno-sse4.1 -mno-lzcnt -mno-rtm -mno-hle -mno-rdrnd -mno-f16c -mno-fsgsbase -mno-rdseed -mno-prfchw -mno-adx -mfxsr -mno-xsave -mno-xsaveopt -mno-avx512f -mno-avx512er -mno-avx512cd -mno-avx512pf -mno-prefetchwt1 -mno-clflushopt -mno-xsavec -mno-xsaves -mno-avx512dq -mno-avx512bw -mno-avx512vl -mno-avx512ifma -mno-avx512vbmi -mno-clwb -mno-mwaitx -mno-clzero -mno-pku --param l1-cache-size=32 --param l1-cache-line-size=64 --param l2-cache-size=2048 -mtune=core2

特别注意结尾处包含空格的以下标记:

 --param l1-cache-size=32 --param l1-cache-line-size=64 --param l2-cache-size=2048

我可以通过TF_SERVING_BUILD_OPTIONS中所述的构建参数docs here在docker构建过程中提供这些标志

然后该字符串用于运行bazel构建,可以在Dockerfile.devel中看到

因此,我从上方获取所有标志并将Dockerfile.devel放在前面,并将结果字符串放入变量--copt=中。这是我的全部命令,包括末尾带有空格的副本:

TF_SERVING_BUILD_OPTIONS

问题

但是bazel抱怨如下,这可能是由于docker build --pull \ --build-arg TF_SERVING_BUILD_OPTIONS="--copt=-mmmx --copt=-mno-3dnow --copt=-msse --copt=-msse2 --copt=-msse3 --copt=-mssse3 --copt=-mno-sse4a --copt=-mcx16 --copt=-msahf --copt=-mno-movbe --copt=-mno-aes --copt=-mno-sha --copt=-mno-pclmul --copt=-mno-popcnt --copt=-mno-abm --copt=-mno-lwp --copt=-mno-fma --copt=-mno-fma4 --copt=-mno-xop --copt=-mno-bmi --copt=-mno-bmi2 --copt=-mno-tbm --copt=-mno-avx --copt=-mno-avx2 --copt=-mno-sse4.2 --copt=-mno-sse4.1 --copt=-mno-lzcnt --copt=-mno-rtm --copt=-mno-hle --copt=-mno-rdrnd --copt=-mno-f16c --copt=-mno-fsgsbase --copt=-mno-rdseed --copt=-mno-prfchw --copt=-mno-adx --copt=-mfxsr --copt=-mno-xsave --copt=-mno-xsaveopt --copt=-mno-avx512f --copt=-mno-avx512er --copt=-mno-avx512cd --copt=-mno-avx512pf --copt=-mno-prefetchwt1 --copt=-mno-clflushopt --copt=-mno-xsavec --copt=-mno-xsaves --copt=-mno-avx512dq --copt=-mno-avx512bw --copt=-mno-avx512vl --copt=-mno-avx512ifma --copt=-mno-avx512vbmi --copt=-mno-clwb --copt=-mno-mwaitx --copt=-mno-clzero --copt=--param l1-cache-size=32 --copt=--param l1-cache-line-size=64 --copt=--param l2-cache-size=2048 --copt=-mtune=core2" \ -t $USER/tensorflow/serving-devel \ -f tensorflow_serving/tools/docker/Dockerfile.devel . --param之间的空间,这是提供给bazel构建调用的C编译器的一个选项。

l1-cache-size=32

我尝试过的

  1. 我尝试在最后一个标志中转义空格字符:
ERROR: Skipping 'l1-cache-line-size=64': couldn't determine target from filename 'l1-cache-line-size=64'
ERROR: couldn't determine target from filename 'l1-cache-line-size=64'
INFO: Elapsed time: 20.233s
INFO: 0 processes.
FAILED: Build did NOT complete successfully (0 packages loaded)
The command '/bin/sh -c bazel build --color=yes --curses=yes     ${TF_SERVING_BAZEL_OPTIONS}     --verbose_failures     --output_filter=DONT_MATCH_ANYTHING     ${TF_SERVING_BUILD_OPTIONS}     tensorflow_serving/model_servers:tensorflow_model_server &&     cp bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server     /usr/local/bin/' returned a non-zero code: 1

但是bazel仍然抱怨与上面相同的错误消息。

  1. 我尝试用双引号或单引号将命令引起来:
TF_SERVING_BUILD_OPTIONS="--copt=-mmmx ... --copt=--param\ l1-cache-size=32 --copt=--param\ l1-cache-line-size=64 --copt=--param\ l2-cache-size=2048 --copt=-mtune=core2 "

也出现与以前相同的错误。

  1. 我尝试对TF_SERVING_BUILD_OPTIONS="--copt=-mmmx ... --copt=\"--param l1-cache-size=32\" --copt=\"--param l1-cache-line-size=64\" --copt=\"--param l2-cache-size=2048\" --copt=-mtune=core2 " 使用内部双引号,并用外部单引号包裹copts,但存在相同的错误。

  2. 我试图用TF_SERVING_BUILD_OPTIONS来转义双引号。与以前类似的错误。这次表明目标格式不正确\x22

  3. 我曾尝试用ERROR: Skipping 'l1-cache-size=32\x22': Bad target pattern...来转义空格字符:

\40

这次bazel并没有抱怨,因为copt的论点是一个没有正常空格的字符串。但是参数被错误地传递给gcc,因为出现以下错误:

TF_SERVING_BUILD_OPTIONS="--copt=-mmmx ... --copt=--param\40l1-cache-size=32 --copt=--param\40l1-cache-line-size=64 --copt=--param\40l2-cache-size=2048 --copt=-mtune=core2 "

似乎与以下ERROR: /root/.cache/bazel/_bazel_root/e53bbb0b0da4e26d24b415310219b953/external/grpc/BUILD:692:1: C++ compilation of rule '@grpc//:grpc_base_c' failed (Exit 1): gcc failed: error executing command (cd /root/.cache/bazel/_bazel_root/e53bbb0b0da4e26d24b415310219b953/execroot/tf_serving && \ exec env - \ PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin \ PWD=/proc/self/cwd \ PYTHON_BIN_PATH=/usr/bin/python \ /usr/bin/gcc -U_FORTIFY_SOURCE -fstack-protector -Wall -Wunused-but-set-parameter -Wno-free-nonheap-object -fno-omit-frame-pointer -g0 -O2 '-D_FORTIFY_SOURCE=1' -DNDEBUG -ffunction-sections -fdata-sections '-std=c++0x' -MD -MF bazel-out/k8-opt/bin/external/grpc/_objs/grpc_base_c/endpoint_pair_uv.d '-frandom-seed=bazel-out/k8-opt/bin/external/grpc/_objs/grpc_base_c/endpoint_pair_uv.o' '-DGRPC_ARES=0' -iquote external/grpc -iquote bazel-out/k8-opt/genfiles/external/grpc -iquote bazel-out/k8-opt/bin/external/grpc -iquote external/zlib_archive -iquote bazel-out/k8-opt/genfiles/external/zlib_archive -iquote bazel-out/k8-opt/bin/external/zlib_archive -isystem external/grpc/include -isystem bazel-out/k8-opt/genfiles/external/grpc/include -isystem bazel-out/k8-opt/bin/external/grpc/include -isystem external/zlib_archive -isystem bazel-out/k8-opt/genfiles/external/zlib_archive -isystem bazel-out/k8-opt/bin/external/zlib_archive -mmmx -mno-3dnow -msse -msse2 -msse3 -mssse3 -mno-sse4a -mcx16 -msahf -mno-movbe -mno-aes -mno-sha -mno-pclmul -mno-popcnt -mno-abm -mno-lwp -mno-fma -mno-fma4 -mno-xop -mno-bmi -mno-bmi2 -mno-tbm -mno-avx -mno-avx2 -mno-sse4.2 -mno-sse4.1 -mno-lzcnt -mno-rtm -mno-hle -mno-rdrnd -mno-f16c -mno-fsgsbase -mno-rdseed -mno-prfchw -mno-adx -mfxsr -mno-xsave -mno-xsaveopt -mno-avx512f -mno-avx512er -mno-avx512cd -mno-avx512pf -mno-prefetchwt1 -mno-clflushopt -mno-xsavec -mno-xsaves -mno-avx512dq -mno-avx512bw -mno-avx512vl -mno-avx512ifma -mno-avx512vbmi -mno-clwb -mno-mwaitx -mno-clzero '--param\40l1-cache-size=32' '--param\40l1-cache-line-size=64' '--param\40l2-cache-size=2048' '-mtune=core2' '-std=c++14' '-D_GLIBCXX_USE_CXX11_ABI=0' -fno-canonical-system-headers -Wno-builtin-macro-redefined '-D__DATE__="redacted"' '-D__TIMESTAMP__="redacted"' '-D__TIME__="redacted"' -c external/grpc/src/core/lib/iomgr/endpoint_pair_uv.cc -o bazel-out/k8-opt/bin/external/grpc/_objs/grpc_base_c/endpoint_pair_uv.o) Execution platform: @bazel_tools//platforms:host_platform gcc: error: unrecognized command line option '--param\40l1-cache-size=32' gcc: error: unrecognized command line option '--param\40l1-cache-line-size=64' gcc: error: unrecognized command line option '--param\40l2-cache-size=2048' Target //tensorflow_serving/model_servers:tensorflow_model_server failed to build 有关。

  1. 我尝试了不带空格的标志的编译,并最终完成,这进一步强化了以下假设:错误是由bazel错误处理的空格引起的。

如何解决该问题?

linux docker cross-compiling bazel tensorflow-serving
1个回答
0
投票

我想在不支持标准tensorflow构建中使用的现代cpu指令的某些较旧的机器(目标系统)上运行tensorflow-serving。我使用这些说明通过docker安装tf-serving。但是我遇到了错误的Tensorflow Serving Illegal Instruction核心,类似于github上的这个错误。

如果我没记错的话,[Bazel和TensorFlow默认在其构建标志中使用issue on github

您应该省略该标志,或者指定一个更合适的标志,例如-march=native

-march=sse4.2

您的转储显示-march=core2 -mmmx -mno-3dnow -msse -msse2 -msse3 -mssse3 -mno-sse4a -mcx16 -msahf -mno-movbe -mno-aes -mno-sha -mno-pclmul -mno-popcnt -mno-abm -mno-lwp -mno-fma -mno-fma4 -mno-xop -mno-bmi -mno-bmi2 -mno-tbm -mno-avx -mno-avx2 -mno-sse4.2 -mno-sse4.1 -mno-lzcnt -mno-rtm -mno-hle -mno-rdrnd -mno-f16c -mno-fsgsbase -mno-rdseed -mno-prfchw -mno-adx -mfxsr -mno-xsave -mno-xsaveopt -mno-avx512f -mno-avx512er -mno-avx512cd -mno-avx512pf -mno-prefetchwt1 -mno-clflushopt -mno-xsavec -mno-xsaves -mno-avx512dq -mno-avx512bw -mno-avx512vl -mno-avx512ifma -mno-avx512vbmi -mno-clwb -mno-mwaitx -mno-clzero -mno-pku --param l1-cache-size=32 --param l1-cache-line-size=64 --param l2-cache-size=2048 -mtune=core2 。我相信这意味着您可以使用以下内容并完成操作。

-mno-sse4.1

思考

您不应使用-msse2 -msse3 -mssse3 ,因为Core2表示您具有SSE4.1(早期iCore cpus)或SSE4.2(后来的iCore cpus)。

[在-mtune=core2的GCC手册页上,这对我来说似乎是错误的:

core2

具有64位扩展,MMX,SSE,SSE2,SSE3和SSSE3指令集支持的Intel Core2 CPU。

我相当确定Core2比SSSE3更强大。我保留了两台Core2机器进行测试,它们分别具有SSE4.1和SSE4.2。 (一个具有CRC指令,即x86_64 options。)>

我在GCC选项页面上可能有误,但对我来说似乎可疑。


Tensorflow服务非法指令核心已转储

什么是非法指令?


gcc-### -E--march = native 2>&1 | sed -r'/cc1/!d;s/(")|(^.*-)// g'

只是另一种观点,但是我发现类似的东西更有用。在Skylake机器上:

SSE4.2 ISA

从预处理程序转储中,我知道我可以使用$ gcc -march=native -dM -E - </dev/null | grep -E 'SSE|CRC|AES|PCL|RDRND|RDSEED|AVX' | sort #define __AES__ 1 #define __AVX__ 1 #define __AVX2__ 1 #define __PCLMUL__ 1 #define __RDRND__ 1 #define __RDSEED__ 1 #define __SSE__ 1 #define __SSE2__ 1 #define __SSE2_MATH__ 1 #define __SSE3__ 1 #define __SSE4_1__ 1 #define __SSE4_2__ 1 #define __SSE_MATH__ 1 #define __SSSE3__ 1 -msse2-msse3-mssse3-msse4.1-msse4.2-mavx

并且从Core2机器:

-mavx2

从预处理程序转储中,我知道我可以使用$ gcc -march=native -dM -E - </dev/null | grep -E 'SSE|CRC|AES|PCL|RDRND|RDSEED|AVX' | sort #define __SSE__ 1 #define __SSE2__ 1 #define __SSE2_MATH__ 1 #define __SSE3__ 1 #define __SSE4_1__ 1 #define __SSE_MATH__ 1 #define __SSSE3__ 1 -msse2-msse3-mssse3

© www.soinside.com 2019 - 2024. All rights reserved.