【问题标题】:Concurrency Delay When Performance testing on EF在 EF 上进行性能测试时的并发延迟
【发布时间】:2018-01-25 23:41:07
【问题描述】:

我正在 EF 上运行性能测试,因为我们在服务器上运行并发调用时遇到了一些问题。

这是我针对北风数据库执行的测试,数据库中有 20,000 名额外员工以减慢检索速度

单次执行通常在大约 451 毫秒内返回,但是当并行调用时,我似乎看到了一些奇怪的额外执行时间

当我运行 10 个并发调用时,开销是我的 4 倍。这可能看起来微不足道,但当我在我的数据库上执行操作时,你会发现它变得更糟了。

运行 sp_whoisactive 时,您可以看到 sql 已经完成,正在等待发回 (246ms)ASYNC_NETWORK_IO

Sql 不是瓶颈。

class Program
{
    public static int MAX_IO_THREADS = 2000;
    public static int MIN_IO_THREADS = 1000;
    public static int CONCURRENT_CALLS = 10;

    static void Main(string[] args)
    {
        ConfigureThreadPool();
        WarmUpContexts();

        ProfileAction();
        Console.ReadKey();
    }

    protected static void ProfileAction()
    {
        var callRange = Enumerable.Range(0, CONCURRENT_CALLS);

        var stopwatch = new Stopwatch();
        stopwatch.Start();

        var results = new ConcurrentDictionary<int, string>();
        var parallelOptions = new ParallelOptions { MaxDegreeOfParallelism = 512 };

        Parallel.ForEach(callRange, parallelOptions, i =>
        {
            var callSw = new Stopwatch();
            callSw.Start();
            var result = RunTest();
            callSw.Stop();
            results.TryAdd(i, $"Call Index: {i} took {callSw.ElapsedMilliseconds} milliseconds to complete");

        });

        stopwatch.Stop();
        var milliseconds = stopwatch.ElapsedMilliseconds;

        foreach (var result in results.OrderBy(x => x.Key))
        {
            Console.WriteLine(result);
        }

        Console.WriteLine("Total Time " + milliseconds);
    }

    public static void ConfigureThreadPool()
    {
        ThreadPool.GetMinThreads(out var defaultMinWorkerCount, out var _);
        ThreadPool.GetMaxThreads(out var defaultMaxWorkerCount, out var _);

        ThreadPool.SetMaxThreads(defaultMaxWorkerCount, MAX_IO_THREADS);
        var successMin = ThreadPool.SetMinThreads(defaultMinWorkerCount, MIN_IO_THREADS);
    }

    static void WarmUpContexts()
    {
        using (var stagingContext = new NORTHWNDEntities())
        {
            stagingContext.Employees.First();
        }
    }


    static int RunTest()
    {
        using (var context = new Entities())
        {
            var employees = context.Employees.ToArray();
            return employees.Length;
        }
    }
}

如何优化我的线程的性能,以便它们真正返回 NOTE 如果我调用 async 这将永远挂起,

这可能是 .net 中的错误吗?

【问题讨论】:

  • MaxDegreeOfParallelism = 512 除非你的 CPU 上有 512 个逻辑内核,我认为这不太可能,否则这将完全破坏你的应用程序的性能
  • @KevinGosse 我也用 less 测试过,它也有同样的问题
  • 为什么要使用每次迭代中创建的 dbcontext?您对数据库的并行查询太多。此外,ToArray 方法也可能会耗费时间和内存,因为数组会进入大型对象堆,默认情况下不会对其进行优化
  • @VMAtm,Entityframework 上下文不是线程安全的,而且,我试图模拟请求的行为。如何优化堆
  • 堆不应该被优化,不应该被施压 - 只是不要创建数组,使用一些其他结构,除非你完全需要数组

标签: c# multithreading entity-framework task-parallel-library


【解决方案1】:

我的项目代码延迟的几个原因。

1.配置线程池。打开 IO 线程将有助于延迟不仅受 CPU 限制的请求。例如将文件写入磁盘,或网络绑定请求。

注意:如果您要设置更高的值,请注意不要 你有没有超过最大值,因为这些功能很差 命名,并且应该称为 TrySetMin/TrySetMax,因为它们返回一个 bool 是否成功

小心设置这些我只是使用极高的数字用于测试和学习目的

ThreadPool.SetMaxThreads(defaultMaxWorkerCount, MAX_IO_THREADS);
ThreadPool.SetMinThreads(defaultMinWorkerCount, MIN_IO_THREADS);

2.GcServer 显然,在 .Net 中默认垃圾收集器针对单核性能而不是多核性能进行了优化。你可以在MSDN阅读更多关于这个问题的信息

注意:在 .Net 4.0 中启用 GCServer 会导致具有 UI 的应用程序出现问题。在 .Net 4.5 中,通过默认启用 gcConcurrent=true 解决了这些问题

<configuration>  
   <runtime>  
      <gcServer enabled="true"/>  
   </runtime>  
</configuration>  

3.EntityFrameWork造成的额外延迟,看起来映射关系真的很昂贵,即使你没有拉出任何相关实体。

var employees = context.Employees.AsNoTracking().ToArray();

在使用非常大的数据库进行测试时,道德是,如果您正在为 GET 请求加载数据,则尽可能在不跟踪的情况下加载。
注意:这可能会导致意外行为,因为共享公共外键的不同实体将具有与之关联的不同 CLR 对象

【讨论】:

  • 嘿@johnny5,我在stackoverflow.com/questions/52726292/… 也有类似的问题,但是,我刚刚找到了你的问题,我想知道更多关于你所说的线程数量,我想知道如果您对 azure 服务器的计划及其性能(DTU、vCore 等)了解很多。我已经对您的问题和答案表示赞同,因为我发现它们非常有趣。传递给async 似乎有帮助,你的第 3 点也是如此,但是,并发仍然是一个大问题
  • 我对 azure 没有太多了解,但我会尽力提供帮助
  • @Emixam23 如果我稍后有时间我会留下一些问题的评论,但我写的东西应该会有所帮助
猜你喜欢
  • 2021-07-05
  • 2014-07-13
  • 2019-10-22
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-03-26
  • 1970-01-01
相关资源
最近更新 更多