spark-submit错误：无效的最大堆大小：-Xmx4g-罐子，但是系统上有足够的内存

Question

我正在执行紧急工作：

spark-submit --master spark://ai-grisnodedev1:7077 --verbose --conf spark.driver.port=40065 --driver-memory 4g
--jars /opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-spark.jar 
--conf spark.driver.extraClassPath=/opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-spark.jar 
--conf spark.executor.extraClassPath=./hail-all-spark.jar ./hail_scripts/v02/convert_vcf_to_hail.py ./hgmd_pro_2019.4_hg38.vcf -ht 
--genome-version 38 --output ./hgmd_pro_2019.4_hg38.ht

并且命令给出错误：

无效的最大堆大小：-Xmx4g--jars错误：无法创建Java虚拟机。错误：发生致命异常。程序将退出。

我检查了内存：

所以，似乎很好。我检查了java：

(py37) -bash-4.2$ java -version
openjdk version "1.8.0_232"
OpenJDK Runtime Environment (build 1.8.0_232-b09)
OpenJDK 64-Bit Server VM (build 25.232-b09, mixed mode)

然后我在Chrome中检查spark是否在ai-grisnodedev1:7077上运行，并且它只对一名工作人员执行。如果使用ipython，则可以在install上运行简单的https://hail.is/docs/0.2/getting_started.html示例：

import hail as hl
mt = hl.balding_nichols_model(n_populations=3, n_samples=50, n_variants=100)
mt.count()

因此，取决于Hail的Spark也正在工作。也许我的命令格式错误或某些文件已损坏？s，但是错误很容易引起误解。我该怎么做才能调试此问题？

Answer 1

只是发布了问题，并立即解决了这个问题，尽管那是非常绝望的。问题是我要在几个编辑器中复制并粘贴命令，然后再返回，--driver-memory 4g之后可能出现了一些错误的字符。我只是删除了空格（可能不是空格）并重新插入它们，然后它开始工作。很难说出为什么tab或newline弄乱了它的原因。我正在使用Microsoft One Note-也许它正在对空格进行一些修改...