【问题标题】:How can I improve the performance of this CopyTo method?如何提高此 CopyTo 方法的性能?
【发布时间】:2021-04-28 18:35:30
【问题描述】:

编辑:我现在已经解决了这个问题。我的答案贴在下面,当 SO 允许时将标记为已解决。

我有一个 CopyTo(和一个 CopyToAsync)方法来复制我的 C# 应用程序中的文件。 我发现与 Xcopy 相比,复制文件实际上很慢。

我提取了 copy 方法的核心功能并将其放入测试控制台应用程序中,以获得它与 Xcopy 的运行速度,发现结果实际上完全不同。

我得到的结果是:

异步方法:36.59 秒 - 平均速度:1512.63 mb/秒

同步方法:36.49 秒 - 平均速度:1516.72 mb/秒

XCOPY:5.62 秒 - 平均速度:9842.11 mb/秒

这三个都使用完全相同的文件和完全相同的目标。

StreamExtensions 类:

public static class StreamExtensions
    {

        const int DEFAULT_BUFFER = 0x1000; // 4096 bits

        public static async Task CopyToAsync(this Stream source, Stream destination, IProgress<long> progress, CancellationToken cancellationToken = default, int bufferSize = DEFAULT_BUFFER)
        {
            var buffer = new byte[bufferSize];
            int bytesRead;
            long totalRead = 0;

            while ((bytesRead = await source.ReadAsync(buffer, 0, buffer.Length, cancellationToken)) > 0)
            {
                await destination.WriteAsync(buffer, 0, bytesRead, cancellationToken);

                cancellationToken.ThrowIfCancellationRequested();

                totalRead += bytesRead;
                progress.Report(totalRead);
            }
        }

        public static void CopyTo(this Stream source, Stream destination, IProgress<long> progress, int bufferSize = DEFAULT_BUFFER)
        {
            var buffer = new byte[bufferSize];
            int bytesRead;
            long totalRead = 0;

            while ((bytesRead = source.Read(buffer, 0, buffer.Length)) > 0)
            {
                destination.Write(buffer, 0, bytesRead);

                totalRead += bytesRead;
                progress.Report(totalRead);
            }
        }
    }

IProgress&lt;long&gt; 对象用于将文件进度报告回调用方法。

示例调用实现:

// Asynchronous version
public static async Task CopyFileSetAsync(Dictionary<string, string> fileSet)
{
    for (var x = 0; x < fileSet.Count; x++)
    {
        var item = fileSet.ElementAt(x);
        var from = item.Key;
        var to = item.Value;

        int currentProgress = 0;

        long fileSize = new FileInfo(from).Length;

        IProgress<long> progress = new SynchronousProgress<long>(value =>
        {
            decimal fileProg = (decimal)(value * 100) / fileSize;

            if (fileProg != currentProgress)
            {
                currentProgress = (int)fileProg;
                OnUpdateFileProgress(null, new FileProgressEventArgs(fileProg));
            }
        });

        using (var outStream = new FileStream(to, FileMode.Create, FileAccess.Write, FileShare.Read))
        {
            using (var inStream = new FileStream(from, FileMode.Open, FileAccess.Read, FileShare.Read))
            {
                await inStream.CopyToAsync(outStream, progress);
            }
        }

        OnUpdateFileProgress(null, new FileProgressEventArgs(100)); // Probably redundant
    }
}

// Synchronous version
public static void CopyFileSet(Dictionary<string, string> fileSet)
{
    for (var x = 0; x < fileSet.Count; x++)
    {
        var item = fileSet.ElementAt(x);
        var from = item.Key;
        var to = item.Value;

        int currentProgress = 0;

        long fileSize = new FileInfo(from).Length;

        IProgress<long> progress = new SynchronousProgress<long>(value =>
        {
            decimal fileProg = (decimal)(value * 100) / fileSize;

            if (fileProg != currentProgress)
            {
                currentProgress = (int)fileProg;
                OnUpdateFileProgress(null, new FileProgressEventArgs(fileProg));
            }
        });

        using (var outStream = new FileStream(to, FileMode.Create, FileAccess.Write, FileShare.Read))
        {
            using (var inStream = new FileStream(from, FileMode.Open, FileAccess.Read, FileShare.Read))
            {
                inStream.CopyTo(outStream, progress, 1024);
            }
        }

        OnUpdateFileProgress(null, new FileProgressEventArgs(100)); // Probably redundant
    }
}

有什么东西阻止它尽可能快地运行吗?我只是对它与复制相比慢了多少感到困惑。

编辑:修正了一个错字,我在 IProgress 周围忘记了一个 `

【问题讨论】:

  • 更改缓冲区大小对所用时间有明显影响吗?
  • DEFAULT_BUFFER = 0x1000; // 4096 bits。它们是字节,而不是
  • xcopy 使用与robocopy 相同的底层代码,并且可能并行复制文件。
  • 按照 Tom 的建议,尝试将缓冲区大小增加到 1024 * 1024 (1mb)
  • 64K 缓冲区怎么样?你也试过官方的FileStream.CopyTo,因为这可能避免了双重复制?

标签: c# performance io


【解决方案1】:

感谢Tomxanatos,我回答了我自己的问题:

我误解了缓冲区大小的影响。我只达到了 8192 字节作为缓冲区大小。在采纳了他们的建议后,我将缓冲区大小增加到 1mb(1048576 字节),这对性能产生了巨大影响。

异步方法:5.57 秒 - 平均速度:9938.68 mb/秒

同步方法:5.52 秒 - 平均速度:10028.36 mb/秒

XCOPY:5.03 秒 - 平均速度:11007.84 mb/秒

【讨论】:

  • 每个进程的峰值/平均内存/CPU 使用率是多少?
  • 您可能会考虑将缓冲区大小向下移动,直到看到有害的差异(我猜使用 64 kbyte 缓冲区可能几乎一样快)。如果您可以将其降低到 85k,那么您留下超出大对象堆
  • 我认为你的意思是 1MB 而不是 1mb。
  • @jwdonahue - 在所有 3 中,CPU 利用率都没有提高到 30% 以上。在此之前,怠速在 26-30% 之间
  • 谢谢@Flydog57。在看到性能明显下降之前,我会考虑减小缓冲区大小。
猜你喜欢
  • 2014-11-20
  • 1970-01-01
  • 2017-01-31
  • 1970-01-01
  • 1970-01-01
  • 2013-11-16
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多