将avro jars复制到docker jars目录中

问题描述 投票:0回答:1

我正在学习spark,因为avro在spark外部,所以我想使用avro数据文件。我已经下载了罐子。但是我的问题是如何将其复制到“ jars dir”到容器的特定位置?enter image description here我在这里读过相关文章,但我不明白。

我还在下面的spark主网站上看到了此命令,但是我认为运行该文件之前需要复制jar文件。

./bin/spark-shell --packages org.apache.spark:spark-avro_2.XX:X.X.X ...

我尝试过的是

docker cp /Users/username/Downloads/spark-avro_2.11-2.4.5.jar docker-spark_master_1:/jars

但是它不起作用。在此先感谢

nb:我正在与工人和主人一起运行spark 2.4容器。

docker apache-spark copy-paste avro spark-avro
1个回答
1
投票

引用docker cp Documentation

docker cp

如果docker cp SRC_PATH CONTAINER:DEST_PATH指定了文件而SRC_PATH不存在,则文件保存到在DEST_PATH

创建的文件中

从您尝试的命令开始,

目标路径DEST_PATH在容器中不存在,因为实际目标应为/jars。因此,罐子被复制到根目录(/usr/spark-2.4.1/jars/)下名称为jars的容器中。

尝试使用此命令将罐添加到火花罐中,

/
© www.soinside.com 2019 - 2024. All rights reserved.