【发布时间】:2015-02-27 00:57:39
【问题描述】:
我一直在使用 Anaconda Python,但也进行了许多软件包升级(如 PANDAS)。我已经编写了一些工具,我想将它们转换为 MapReduce 工作,并且我研究了如何使用 python EMR 引导程序包依赖项。
我想到了一个可能的解决方法:获取并安装 Anaconda 发行版。但后来我想起我必须进行所有必要的升级。
我最后的努力可能是这个问题:有没有办法“重新捆绑”升级后的 anaconda(或其环境),以便它可以存储在 S3 上并用作 EMR 引导操作?
感谢您的帮助!
添加:我想它需要一个许可证才能包装这样的 Anaconda 发行版并在各种机器上使用它,无论它们是在我的办公室网络中还是在 AWS 上。这是这个问题的开源版本(我刚刚了解到 Anaconda 发行版的主包管理器实际上是 OS):
假设我有一个安装了各种模块和扩展的虚拟(或 conda)环境。如果有的话,封装/捆绑这个虚拟环境的正确方法是什么,以便我可以根据需要有效地部署它?我遇到过“pip bundle”,还有“conda clone”和“conda create”。此外,还出现了 conda 通道的概念。我不清楚是否可以将这些放在一起以在 EMR 上进行有效部署,如果可以,如何。
【问题讨论】:
标签: python anaconda bootstrapping emr