【问题标题】:Bundle virtual/conda environment for EMR bootstrap为 EMR 引导程序捆绑虚拟/conda 环境
【发布时间】:2015-02-27 00:57:39
【问题描述】:

我一直在使用 Anaconda Python,但也进行了许多软件包升级(如 PANDAS)。我已经编写了一些工具,我想将它们转换为 MapReduce 工作,并且我研究了如何使用 python EMR 引导程序包依赖项。

我想到了一个可能的解决方法:获取并安装 Anaconda 发行版。但后来我想起我必须进行所有必要的升级。

我最后的努力可能是这个问题:有没有办法“重新捆绑”升级后的 anaconda(或其环境),以便它可以存储在 S3 上并用作 EMR 引导操作?

感谢您的帮助!

添加:我想它需要一个许可证才能包装这样的 Anaconda 发行版并在各种机器上使用它,无论它们是在我的办公室网络中还是在 AWS 上。这是这个问题的开源版本(我刚刚了解到 Anaconda 发行版的主包管理器实际上是 OS):

假设我有一个安装了各种模块和扩展的虚拟(或 conda)环境。如果有的话,封装/捆绑这个虚拟环境的正确方法是什么,以便我可以根据需要有效地部署它?我遇到过“pip bundle”,还有“conda clone”和“conda create”。此外,还出现了 conda 通道的概念。我不清楚是否可以将这些放在一起以在 EMR 上进行有效部署,如果可以,如何。

【问题讨论】:

    标签: python anaconda bootstrapping emr


    【解决方案1】:

    license 允许您执行此操作,如果这是您所要求的。

    您还可以查看http://continuum.io/anaconda-clusterhttp://continuumio.github.io/conda-cluster/

    【讨论】:

    • 感谢您将我指向 Conda Cluster。由于您对许可证提出了很好的观点,因此我在我的问题中添加了一个额外的部分。
    猜你喜欢
    • 2018-06-18
    • 1970-01-01
    • 2022-01-11
    • 2021-02-27
    • 2020-12-14
    • 1970-01-01
    • 1970-01-01
    • 2018-12-29
    • 1970-01-01
    相关资源
    最近更新 更多