CERTIFICATE_VERIFY_FAILED 通过 spark-submit 与成功手动执行 python 代码

Question

python 2.7，aws emr 5.29 集群在其所有节点上使用 boto 3 进行引导。

成功：ssh & 执行插入到 dynamodb 的 python 程序（在主节点和核心节点上测试）。通过python test.py手动执行

失败：spark-submit --jars test.py（在master上） 错误：从堆栈跟踪它指向 CERTIFICATE_VERIFY_FAILED 到 dynamodb aws url。

问题：spark-submit 在幕后做了什么需要身份验证而直接 python test.py 不需要身份验证？

Answer 1

按照here 所述将 ca 捆绑包添加到 aws 配置并通过 spark-submit 重新运行后，CERTIFICATE_VERIFY_FAILED 消失了。