我正在设计和开发一个api，其中多个线程从网上下载文件，然后将其写入磁盘。
如果使用不当，可能会发生同一个文件被多个线程下载和写入，这将导致写入磁盘时出现异常。
我想在写入文件的部分周围使用lock() { ... } 来避免这个问题，但显然我不想用全局对象锁定，只是与该特定文件相关的东西，因此并非所有线程都写入文件时锁定。
我希望这个问题可以理解。
【问题讨论】：
标签： c# .net multithreading file-io mutex
所以你想要做的是同步一堆没有给定键的动作。在这种情况下，该键可以是绝对文件名。我们可以将其实现为将键映射到某个同步对象的字典。如果我们想实现阻塞同步机制，这可以是一个要锁定的对象，如果我们想在适当的时候表示运行代码的异步方法，则可以是Task；我和后者一起去了。我还使用ConcurrentDictionary 让它处理同步，而不是手动处理，并使用Lazy 确保每个任务只创建一次：
public class KeyedSynchronizer<TKey>
{
private ConcurrentDictionary<TKey, Lazy<Task>> dictionary;
public KeyedSynchronizer(IEqualityComparer<TKey> comparer = null)
{
dictionary = new ConcurrentDictionary<TKey, Lazy<Task>>(
comparer ?? EqualityComparer<TKey>.Default);
}
public Task ActOnKey(TKey key, Action action)
{
var dictionaryValue = dictionary.AddOrUpdate(key,
new Lazy<Task>(() => Task.Run(action)),
(_, task) => new Lazy<Task>(() =>
task.Value.ContinueWith(t => action())));
return dictionaryValue.Value;
}
public static readonly KeyedSynchronizer<TKey> Default =
new KeyedSynchronizer<TKey>();
}
您现在可以创建此同步器的实例，然后指定操作以及它们对应的键（文件）。您可以确信在该文件上的任何先前操作完成之前不会执行这些操作。如果您想等到该操作完成，那么您可以在该任务上Wait，如果您不需要等待，那么您可以不用。这也允许您通过等待任务来进行异步处理。
【讨论】：
AddOrUpdate，addValueFactory 可能会被多次调用，但它的键/值对可能不会每次调用都添加到字典中”。这意味着在某些极端情况下，两个任务可能同时针对一个键运行。
addValueFactory 内部创造了懒惰。所以这只会产生两个同时执行的独立惰性对象。
addValueFactory 的额外调用会创建一个流浪的惰性项目，但 AddOrUpdate 返回的项目始终是由 other 调用创建的项目并存在在字典里？这是有道理的。
您可以考虑使用 ReaderWriterLockSlim
http://msdn.microsoft.com/en-us/library/system.threading.readerwriterlockslim.aspx
private ReaderWriterLockSlim fileLock = new ReaderWriterLockSlim();
fileLock.EnterWriteLock();
try
{
//write your file here
}
finally
{
fileLock.ExitWriteLock();
}
【讨论】：
Represents a lock that is used to manage access to a resource, allowing multiple threads for reading or exclusive access for writing.
fileLock.EnterWriteLock() 不允许其他线程进入。您可以创建一个对象来处理文件并利用ReaderWriterLockSlim 来保护写入。
我遇到了类似的情况，并通过lock()ing 解决了相关问题的StreamWriter 对象：
private Dictionary<string, StreamWriter> _writers; // Consider using a thread-safe dictionary
void WriteContent(string file, string content)
{
StreamWriter writer;
if (_writers.TryGetValue(file, out writer))
lock (writer)
writer.Write(content);
// Else handle missing writer
}
这是凭记忆的，它可能无法编译。我会阅读 Andrew 的解决方案（我会的），因为它可能更准确地满足您的需求……但如果您只是想要一个快速而肮脏的东西，这非常简单。
【讨论】：
我会用一些解释来回答。
Windows 已经有你想要的一些东西，背后的想法很简单：允许多个进程访问同一个文件并进行所有写入/读取操作，这样：1) 所有进程都使用该文件的最新数据 2) 多次写入或读取无需等待（如果可能）。
它叫做Memory-Mapped Files。我主要用于IPC（没有文件），所以无法提供示例，但应该有some。
您可以通过在其上使用一些缓冲区和某种层来模仿 MMF 行为，这会将所有读/写操作重定向到该缓冲区并定期将更新的内容刷新到物理文件中。
P.S：尝试同时寻找文件共享（打开文件以进行共享读/写）。
【讨论】：