我正在学习spark,因为avro在spark外部,所以我想使用avro数据文件。我已经下载了罐子。但是我的问题是如何将其复制到“ jars dir”到容器的特定位置?我在这里读过相关文章,但我不明白。
我还在下面的spark主网站上看到了此命令,但是我认为运行该文件之前需要复制jar文件。
./bin/spark-shell --packages org.apache.spark:spark-avro_2.XX:X.X.X ...
我尝试过的是
docker cp /Users/username/Downloads/spark-avro_2.11-2.4.5.jar docker-spark_master_1:/jars
但是它不起作用。在此先感谢
nb:我正在与工人和主人一起运行spark 2.4容器。
docker cp
如果
创建的文件中docker cp SRC_PATH CONTAINER:DEST_PATH
指定了文件而SRC_PATH
不存在,则文件保存到在DEST_PATH
从您尝试的命令开始,
目标路径DEST_PATH
在容器中不存在,因为实际目标应为/jars
。因此,罐子被复制到根目录(/usr/spark-2.4.1/jars/
)下名称为jars
的容器中。
尝试使用此命令将罐添加到火花罐中,
/