在 Dataproc 现有集群上安装 PIP 包

Question

有没有办法使用

pip install

或类似的东西在现有的 dataproc 集群上安装包？或者我需要在 PIP_PACKAGES 上重新创建和设置包吗？

Answer 1

没有在现有集群的所有节点上自动安装软件包的方法。根据您的用例，您可能需要通过 ssh 连接到 master 和 worker 机器来安装这些包。改为使用初始化操作并创建新集群会更容易。