【问题标题】:Log Buffering Through MSMQ to WCF Web Service通过 MSMQ 将日志缓冲到 WCF Web 服务
【发布时间】:2011-08-26 19:20:05
【问题描述】:

我手头有一个有趣的情况。几年来,我们已经有一个 WCF 服务在我们用于记录的网络上的 IIS 机器上运行。应用程序使用 basicHttpBinding 发送日志消息并将它们记录到数据库中。来自所有其他应用程序的大多数日志记录仅限于每个操作几十个日志。最近我们移植了另一个应用程序来使用这个日志服务。对于我们的日志服务,此应用程序的日志记录比任何其他客户端都要积极得多。它有一个操作,在其过程中可以记录超过 100,000 条消息(这是用于通过 CSV 文件导入 100,000 条记录)。

在试图找到一种更有效地运行此操作的方法时,建议我尝试使用 MSMQ 将日志请求排队并将它们转发到服务,而不是让应用程序直接与日志记录服务通信(请求 正在出于性能目的在单独的线程中发送)。这样,在写入日志时应用程序不会被阻塞。我已经在我的本地机器上实现了这个 MSMQ 解决方案的概念证明,但由于我以前从未使用过 MSMQ,而且我现在才知道它在技术上的位置,我发现自己有很多问题和很少的答案.我希望有人能指出一些关于 MSMQ 工作原理的简明信息,以便我可以更好地调试我编写的这个概念证明。

我在实施 MSMQ 后看到的:

  • 我的应用程序将日志发送到 MSMQ 几乎立即返回 (而不是等待日志 承诺)这就是我想要的。
  • 即使我发送了 1000 条日志到 MSMQ 应用程序少于 30 秒,需要几分钟 所有 1000 条日志都可以到达 数据库。好像我的 队列有某种节流 启用它阻止 记录请求,但我不知道如何/在哪里检查。
  • 如果我在从 MSMQ 服务接收日志的服务器上使用 net.tcp,我会收到大量服务超时错误,并且只有 90%(左右)的日志进入数据库,但如果我使用 basicHttpBinding,它可以工作可靠。

这是我的 MSMQ 服务中的代码:

public void QueueLog(Log log)
{
    try
    {
        ServiceClient writeLog = getLoggingService();

        string exceptionText = log.Exception == null ? string.Empty : log.Exception.ToString();
        writeLog.WriteCompatibleLog(log.LoggerName, (LoggingService.Logging.LogType)log.LogType, exceptionText, log.Message, log.ApplicationName, Utility.GetAssemblyVersion(Assembly.GetCallingAssembly()),
            Utility.GetFirstIPAddress(), Utility.GetHostName(), log.Category);
    }
    catch (Exception ex)
    {
        Debug.WriteLine("LoggingServiceWrapper.DotNet Error\n\n" + ex.GetBaseException().Message + "\n\n" + ex.GetBaseException().StackTrace);
    }
}

private ServiceClient getLoggingService()
{
    return new ServiceClient(new BasicHttpBinding(), new EndpointAddress("http://MyServer/Service.svc"));

}

这是我创建 MSMQ 服务的代码

if (!MessageQueue.Exists(Properties.Settings.Default.QueueName))
{
    MessageQueue.Create(Properties.Settings.Default.QueueName, true);
}

ServiceHost serviceHost = new ServiceHost(typeof(LoggingServiceQueue.LoggingServiceQueue), new Uri(Properties.Settings.Default.Address));
{
    serviceHost.Open();

    Console.ReadLine();

    serviceHost.Close();
}

这是我用来调用 MSMQ 服务的应用程序中的代码:

LoggingServiceQueueClient client = new LoggingServiceQueueClient(new NetMsmqBinding(NetMsmqSecurityMode.None), new EndpointAddress("net.msmq://localhost/private/Logging"));

client.QueueLog(new LoggingServiceQueue.Log
{
    LoggerName = loggerName,
    LogType = (LoggingServiceQueue.LogType)logType,
    ApplicationName = applicationName,
    Category = category,
    Exception = exception,
    Message = message,
    SourceHostName = Utility.GetHostName(),
    SourceIp = Utility.GetFirstIPAddress(),
    Version = Utility.GetAssemblyVersion(callingAssembly)
});

我感谢有人可以提供的任何帮助。对于使用 MSMQ 可以使用哪些功能集,我有点迷茫。我通过谷歌做了 6 个小时左右的研究。我发现的大多数文档都很旧(2007 年)并且很难阅读。也许他们希望我对这个主题有一些基本的了解。

【问题讨论】:

    标签: wcf msmq netmsmqbinding msmq-wcf


    【解决方案1】:

    您所看到的(如果您在 WCF 上使用 net.msmq 绑定)就是设计要发生的。

    MSMQ 作为一种存储和转发工具,将在发送客户端和接收服务器的队列中存储消息,直到网络或处理带宽可用。这样做是通过使进程异步来减轻客户端的负载(如您所见)。

    您可以使用性能监视器查看队列的状态,将出站队列(在客户端)和服务器队列中的消息数量实时写入性能计数器,并且可以查看和/或记录。

    如果性能欠佳,您可以尝试更改 WCF 限制设置,以在您的服务行为中允许更多并发连接。

    例如

    <serviceThrottling
             maxConcurrentCalls="20"
             maxConcurrentSessions="20"
             maxConcurrentInstances="20"
           />
    

    【讨论】:

    • 您知道与本地 MSMQ 服务通信的性能开销应该是多少吗?我想,由于卸载处理是它的主要目的,它会相当快。你上面放的service throttling,你是建议web service还是MSMQ service?
    • 对于客户端,开销应该在十毫秒的数量级,因为不需要等待响应。如果要通过 MSMQ 公开 WCF 服务端点,则应在 WCF 服务端点上应用限制参数。
    • 这里一定有问题。 100,000 个日志请求在不到一小时的时间内成功排队,但是 MSMQ 应用程序仍在 10 小时后将日志发送到 WCF 服务!我知道日志可以快速发送到 MSMQ 应用程序,所以这不是问题。出于某种原因,尽管 MSMQ 应用程序不想尽可能快地推送日志。我知道瓶颈不是另一台服务器上的 WCF 日志记录服务。 100,000 个日志条目的发生速度比没有 MSMQ 的情况要快得多。
    • 您的服务器如何接收来自队列的消息?它是在计时器上运行还是在 ReceiveCompleted 事件上注册为委托?如果您对队列使用 HTTP 绑定或 Active Directory 身份验证,与 TCP 相比,这会降低性能。
    • 服务器只是在监听 IIS 服务器。队列只是在收到日志请求时将它们推送到此服务。该服务是 WCF basicHttpBinding 服务,并且在不通过队列时要快得多。似乎我的 MSMQ 服务和机器上的消息队列服务之间的任何东西都在严重限制消息。
    猜你喜欢
    • 1970-01-01
    • 2015-08-20
    • 1970-01-01
    • 2011-10-17
    • 2011-01-10
    • 2010-09-27
    • 2012-11-05
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多