【问题标题】:Condor, Sun Grid Engine, or something else?Condor、Sun Grid Engine 还是其他?
【发布时间】:2009-12-06 11:31:52
【问题描述】:

我正在尝试确定我们是否应该在工作中试用 Condor 或 Sun Grid Engine(或者可能是其他东西)。

我们经常有很多未使用的 WinXp 工作站。希望我们可以使用 LAN 唤醒,运行我们所有的作业,然后自动关闭。我们主要运行 Matlab、Java 或 Python 模拟来进行 monte-carlo 或参数探索。

由于我对 Condor 的了解有限,听起来使用 vm Universe 可能是一种无需修改现有代码即可处理快照的便捷方式。

SGE 或其他东西比 condor 更适合这种工作吗?

【问题讨论】:

    标签: cluster-computing sungridengine condor


    【解决方案1】:

    SGE 并不真的支持窗口。它带有all kinds of caveats and missing bits on Windows

    多年来,我一直在运行 Condor 池,它是一种出色的 HTPC 设置,适用于循环窃取和专用、始终在线的硬件,适用于 Linux 和 Windows 机器。他们最近添加的Rooster daemon 让您可以让机器在工作周期之间进入睡眠状态,并在池中出现新工作时唤醒它们。他们还有一个活跃且非常有帮助的支持社区。检查点是唯一在 Windows 上不可用的 Condor 功能。其他一切都在那里。随着 VM Universe 的加入,检查点变得越来越没用。真的:要成功使用检查点,您需要能够重新链接整个代码堆栈。因此,如果您正在运行 Matlab 作业,即使在 Linux 上,检查点也是不可能的。

    如果您有关于让 Condor 在 Windows 上运行的具体问题,我很乐意回答,请分享我的经验。我在全球 4 个池中运行 Condor,所有池中总共有大约 1500 台专用机器,还有大约 1000 台左右的额外桌面机器可供用户捐赠。

    【讨论】:

      【解决方案2】:

      我会从 Condor 开始。它对 Windows 有很好的支持,当作业可以在某些机器上运行时,较新的版本内置了以非常可配置的方式发送唤醒局域网的支持。它还可以根据用户定义的策略关闭机器。

      【讨论】:

        【解决方案3】:

        在 Oracle 收购 SGE(Sun Grid Engine)之后,还有 Open Grid Scheduler 项目,它仍然提供开源 Grid Engine。

        http://gridscheduler.sourceforge.net/

        【讨论】:

          【解决方案4】:

          对于专用硬件,我会使用 Grid Engine。

          为了在可能正在使用的机器上清除时钟周期,我会选择 Condor。

          对于您可以在固定时间段(例如通宵和周末)专门访问的硬件,我可能仍会选择 Condor,但可能会说服自己使用 Grid Engine。

          【讨论】:

            【解决方案5】:

            我最近为一个客户项目不得不在 condor 和 SGE 之间做出选择。我更喜欢 SGE(因为我更熟悉那个环境),但 Condor 最终赢了,因为:

            • 客户基础架构面向 Windows,SGE 解决方案需要 Unix 或 Linux 计算机作为 Central Manager,+ 在计算主机上安装 MS Services for Unix
            • Condor 在 Windows 上的支持和安装过程要简单得多。

            但是,您不能在 Windows 上使用 Condor 最有趣的功能:检查点不可用,Condor 特定的 IO 也不可用。我没有使用虚拟机宇宙,所以我无法评论这方面。

            【讨论】:

              【解决方案6】:

              我只尝试过 Condor,尝试设置很痛苦。如果您需要可以充分利用的所有时钟周期,请使用 Condor。

              我即将尝试 SGE,我会告诉你进展如何。但是在我的公司,人们有建立 SGE 的经验,所以我可能会说 SGE 更容易。

              【讨论】:

                【解决方案7】:

                SGE 不存在……它是 OGE,而且非常昂贵。和神鹰一起去。

                【讨论】:

                  猜你喜欢
                  • 1970-01-01
                  • 2013-07-21
                  • 1970-01-01
                  • 1970-01-01
                  • 1970-01-01
                  • 1970-01-01
                  • 1970-01-01
                  • 2019-12-31
                  • 1970-01-01
                  相关资源
                  最近更新 更多