【问题标题】:Worker framework for Amazon EC2Amazon EC2 的工作器框架
【发布时间】:2011-07-17 15:46:54
【问题描述】:

是否有任何适用于 Python 的 Amazon EC2 通用工作框架?有些东西,你可以说“运行这个 Python 任务 X”,它会自动将任务从服务器池分配给服务器上的一个工作进程,并在任务执行后报告回来?

  • 在 Python 中描述任务(类、脚本等) - 在这种情况下,从音频文件中提取信息

  • 拥有某种控制器,您可以为其提供任务和文件(在我的例子中是通过 HTTP 交互) - 控制器知道它可用于运行任务的 EC2 服务器池

  • 控制器为任务分配一个 EC2 服务器 - 每个服务器可以包含 N 个工作进程(不是线程,这毕竟是 Python...)

  • 任务在服务器上执行,进度(0...100% 完成)会报告给控制器,控制器又可以将其报告给用户

【问题讨论】:

    标签: python amazon-ec2 subprocess multiprocessing


    【解决方案1】:

    你可以试试Elastic MapReduce

    【讨论】:

    • MapReduce 可以像自定义 Python 虚拟机那样做任何复杂的事情吗?我知道我需要手动添加原生 Python 扩展,尤其是 ffmpeg。
    猜你喜欢
    • 1970-01-01
    • 2014-06-30
    • 1970-01-01
    • 2011-11-24
    • 2014-06-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-05-15
    相关资源
    最近更新 更多