从运行缓慢的多个数据库中获取数据的方法

Question

我有一些方法需要从多个数据库中获取统计数据。关键思想是每个表都包含一个 DBName，然后我从它向下钻取到客户端主数据库，调用具有所需数据库名称的存储过程。最后我再次下钻，从客户的项目数据库中获取数据。

总结一下：

1. 我获得了所有云用户的列表。

2. 对于每个用户，我使用其主数据库上的存储过程来获取他的客户 -> 标记为 userClients。

3. 对于每个客户，我使用客户项目数据库中的存储过程来获取他的统计信息。

对于非常少的数据执行大约需要 5-6 秒。

public List<CloudAnalysisDTO> GetCloudAnalysisForPeriod(DateTime FromDate, DateTime ToDate)
    {
        var users = FindAll();
        List<CloudAnalysisDTO> resultsList = new List<CloudAnalysisDTO>();
        HashSet<string> userclients = new HashSet<string>();

        using (var db = new ProjSQLDataContext(conn))
        {
            foreach (var user in users)
            {
                if (user.ID == 0)
                    continue;

                var ids = string.Join(",", db.UserClients.Where(uc => uc.UserId == user.ID).Select(uc => uc.ClientId.ToString()).ToArray());
                var mainDB = user.MainDB;

                if (mainDB.Length == 0 || ids.Length == 0)
                    continue;

                List<CloudAnalysisDTO> userClients =
                        db.ExecuteQuery<CloudAnalysisDTO>(@"EXEC CloudUsersAnalysis {0},{1}", mainDB, ids).ToList<CloudAnalysisDTO>();

                List<CloudAnalysisDTO> needRemove = new List<CloudAnalysisDTO>();

                foreach (var client in userClients)
                {
                    if (!userclients.Contains(user.MainDB + client.ClientID.ToString()))
                        userclients.Add(user.MainDB + client.ClientID.ToString());
                    else
                    {
                        needRemove.Add(client);
                        continue;
                    }

                    ClientAnalysisDTO clientAnalysisDTO =
                    db.ExecuteQuery<ClientAnalysisDTO>(@"EXEC CloudClientAnalysis {0},{1},{2}", client.ProjectDB, FromDate, ToDate).SingleOrDefault<ClientAnalysisDTO>();

                    if (clientAnalysisDTO != null)
                    {
                        client.ClientAnalysisDTO = clientAnalysisDTO;
                    }

                    client.UserID = user.ID;
                    client.MainDB = user.MainDB;
                }

                foreach (var removeDTO in needRemove)
                {
                    userClients.Remove(removeDTO);
                }

                if (userClients != null && userClients.Count > 0)
                    resultsList.AddRange(userClients);
            }



        }
        return resultsList;
    }

关于我可以做些什么来提高性能的任何想法？

Answer 1

我要做的第一件事是启用 .NET 跟踪，并在每次调用之前和之后在跟踪日志中写入一行。

https://msdn.microsoft.com/en-us/library/zs6s4h68(v=vs.110).aspx

这行让我怀疑您可能在其中一个查询中秘密运行“in”子句，这可能会低于性能：

 var ids = string.Join(",", db.UserClients.Where(uc => uc.UserId == user.ID).Select(uc => uc.ClientId.ToString()).ToArray());

下一步一旦你找到表现不佳的人（上面这行只是我的猜测），你应该启用数据库分析以确定哪里需要新的索引或数据库维护。