如何在这里避免竞争条件

Question

如果我使用线程运行它，getUrl 中是否会有竞争条件？我正在多个线程中更改data['key'] 的值。我需要将整个data 传递给我提出的请求，基本上，一组键将被固定，只有名为key 的键会因我发出的每个线程调用而改变

import requests
from concurrent.futures import ThreadPoolExecutor


def getUrl(url, value):
    data['key'] = value # will there be a race condition here
    return requests.get(url, data=data).text # and when the value is passed here

data = {'key': 1, 'fixedKey': 'fixedValue', 'fixedKey2': 'fixedValue2'}
resultArray = []
threadPool = ThreadPoolExecutor(32)

for i in range(100):
    resultArray.append(threadPool.submit(getUrl, 'https://google.com', i))

Thread Safety in Python's dictionary 我检查了这个，但我的困惑是当我在data['key'] = value 中进行设置时线程切换上下文，然后其他一些线程更改了它，下一行现在具有由不同线程设置的新值.

例子

Value set by thread 1
data['key'] = 1
Context Switch
Value set by thread 2
data['key'] = 2
Context Switch back to old thread 1
is data['key'] = `2` now? I would necessarily want the value `1`

如果我使用锁，那么我将在这里失去并发性。

Answer 1

存在竞争条件，因为 data 在线程之间共享，并且您从它们中对其进行了变异。

可视化这种竞争条件的一种简单方法是使用sleep 和print 模拟request 调用：

from concurrent.futures import ThreadPoolExecutor
from time import sleep

def getUrl(url, value):
    data['key'] = value
    sleep(0.3)
    print(value, data["key"])

data = {'key': 1, 'fixedKey': 'fixedValue', 'fixedKey2': 'fixedValue2'}
resultArray = []
threadPool = ThreadPoolExecutor(32)

for i in range(100):
    resultArray.append(threadPool.submit(getUrl, 'https://google.com', i))

您会看到传递给getUrl 的值有时与存储在data 中的值不同。

一种解决方案是在对其进行变异之前将data 复制到本地。

Answer 2

您当前的代码确实存在竞争条件，因为您正在不同线程中更改和使用相同的 global 变量。一种简单的方法是使用本地副本：

def getUrl(url, value):
    data2 = dict(data, 'key' = value)         # build a local instance
    return requests.get(url, data=data2).text # and use it: no race condition