【发布时间】:2016-08-11 21:39:49
【问题描述】:
我想使用 bash 脚本和 qsub 一次运行 30-40 个 python 程序。 每个 python 程序读取和搜索同一组文件(总共约 400 个)以查找一组序列。 是否存在多个 python 程序可能试图从同一个文件中读取的问题?如果有,后果是什么?
【问题讨论】:
我想使用 bash 脚本和 qsub 一次运行 30-40 个 python 程序。 每个 python 程序读取和搜索同一组文件(总共约 400 个)以查找一组序列。 是否存在多个 python 程序可能试图从同一个文件中读取的问题?如果有,后果是什么?
【问题讨论】:
从 Torque 施加的相同文件中读取多个作业没有问题。 (我认为这句话对于任何资源管理器/调度器都可能是正确的。)
我可以想象的主要问题是您的文件系统的性能以及它是否可以跟上对这些文件的潜在并发访问。
【讨论】: