问题描述 投票:0回答:1

python 2.7,aws emr 5.29在其所有节点上都通过boto 3引导的群集。

成功

:ssh并执行一个插入dynamodb的python程序(在主节点和核心节点上均经过测试)。通过python test.py手动执行>

Failure

:spark-submit --jars test.py(在主服务器上)错误

:从堆栈跟踪中指向CERTIFICATE_VERIFY_FAILED指向dynamodb aws url。 问题:在需要身份验证的情况下,spark-submit进行的操作是直接python test.py不需要身份验证的?

python 2.7,aws emr 5.29群集在其所有节点上使用boto 3进行引导。成功:ssh并执行一个插入dynamodb的python程序(在主节点和核心节点上均经过测试)。 ...

python-2.7 apache-spark pyspark amazon-dynamodb amazon-emr
1个回答
0
投票
在将ca bundle如here所述添加到aws配置并通过spark-submit重新运行后,CERTIFICATE_VERIFY_FAILED消失了。
© www.soinside.com 2019 - 2024. All rights reserved.