如何在 IronPython 中原子地增加静态成员？

Question

我有一个IronPython script，它使用 TPL 和 Parallel.ForEach 使用多个线程处理文件。在 C# 中，我可以使用 Interlocked.Add 和 Interlocked.Increment 在原子线程安全操作中更改全局变量，但这在 IronPython 中不起作用，因为integers are immutable。我目前有一个简单的 Results 类，它将一些变量存储为静态成员，用于跟踪多线程操作的结果。更改多个值时，我可以使用 .NET Monitor 类锁定类以确保更新是线程安全的，但如果我只想更新单个变量（比如只增加 Results.Files），这似乎是一个很大的开销.

我的问题是，是否有更好的方法以类似于 Interlocked.Increment 的工作原理的线程安全或原子方式递增单个静态成员变量（如 IronPython 中的 Results.Files）？或者，是否有任何内置于 python 或 .NET 框架中的线程安全计数器可以用来代替基本整数？

class Results:
    Files = 0
    Lines = 0
    Tolkens = 0 

    @staticmethod
    def Add(intFiles, intLines, intTolkens): 
        #Use the System.Threading.Monitor class to ensure addition is thread safe
        Monitor.Enter(Results) 
        Results.Files += intFiles
        Results.Lines += intLines
        Results.Tolkens += intTolkens
        Monitor.Exit(Results) #Finish thread safe code

Answer 1

看起来python 的方法是使用multiprocessing.Value 对象，默认情况下，每当访问对象时都会锁定该对象。可悲的是，多处理类没有内置到 IronPython 中，因为它基于 CTypes。然而，我确实找到了一种使用 Interlocked 类和对 CLR 对象的引用的方法：

import clr
from System.Threading import Interlocked
refInt = clr.Reference<int>(5) #Create a reference to an integer
#refInt = <System.Int32 object at 0x0000000000000049 [5]>
#refInt.Value = 5
Interlocked.Increment(refInt) #Returns 6 and refInt now points to a new integer
#refInt = <System.Int32 object at 0x000000000000004A [6]>
#refInt.Value = 6

在这种情况下，您可以使用所有 Interlocked 方法来添加、比较、交换、递增和读取 refInt 对象。您也可以直接获取或设置 refInt.Value，但只有 Interlocked 方法是线程安全的。还有 Interlocked 方法 will NOT throw an overflow exception（它只会静默包装），因此请确保您选择的数据类型足够大，不会溢出。

Answer 2

过去，我将工作划分为并行处理，将结果与工作单元一起存储，最后进行整理。想想 Map/Reduce，你就拥有了。

创建一个新线程，在元组进入时将它们吞噬（或等到一切都完成）。这个增量或完整的求和方法应该在最后调用，或者是唯一从队列中读取并递增计数器的方法。

更改 add 方法以将结果作为元组放入队列中。

希望这会有所帮助。

雅各布

Answer 3

如果你愿意使用一点 C#，你可以创建一个简单的可重用 C# 类，它封装了一个（非静态）int 成员变量并提供了 Interlocked 函数。

class InterlockedWrapper
{
     private int _value;

     public int Increment()
     {
          return Interlocked.Increment(ref _value);
     }
....

等等。然后你就可以在 Python 中使用这个类了。