【问题标题】:Lightweight notification technique轻量级通知技术
【发布时间】:2011-11-19 13:59:28
【问题描述】:

我需要在 django 中开发一个实时的近期活动提要(使用 AJAX 长轮询),我想知道服务器端的最佳策略是什么。

伪代码:

def recent_activity_post_save():
    notify_view()

[in the view]
while not new_activity():
    sleep(1)
return HttpResponse(new_activity())

首先想到的是每秒查询数据库。不可行。其他选项:

  1. 将缓存用作通知服务
  2. 使用专门的工具,例如 Celery(我宁愿不这样做,因为它看起来有点矫枉过正)

去这里最好的方式是什么?

【问题讨论】:

    标签: python django rabbitmq celery greenlets


    【解决方案1】:

    我建议保持简单...

    创建一个数据库表来存储您的事件,在适当的时候插入该表,然后只需实现一个简单的 ajax 轮询技术,在客户端每 x 秒访问一次服务器。

    我对考虑使用推送通知方法或使用 noSql 数据存储的其他解决方案感到担忧。它比使用 Django 框架中内置的工具的传统拉式通知系统要复杂得多,而且除了非常罕见的例外情况外,这都是矫枉过正的。除非你特别要求严格的实时解决方案,保持简单,使用框架中已经存在的工具,而对于基于数据库或网络性能有异议的人,我只能说,过早的优化是问题的根源。万恶之源。

    构建一个模型,其中包含特定于您的应用程序的最近活动数据,然后,每当您的应用程序执行应记录新活动的操作时,您只需将其插入此表即可。

    您的视图将与任何其他视图一样,从 RecentActivity 表中提取顶部 x 行(可选地基于查询参数等)。

    然后,在客户端,您只需有一个简单的 ajax 轮询器每 x 秒访问您的视图。不乏您可以使用的复杂插件和技术,但编写自己的插件和技术也没有那么复杂:

    function simplePoll() {
      $.get("your-url", {query-parameters}, function(data){
        //do stuff with the data, replacing a div or updating json or whatever
        setTimeout(simplePoll, delay);
      });
    }
    

    我的观点是,在您的网站成功到足以成为问题之前,性能问题并不是真正的问题。传统的关系数据库可以很好地扩展,直到您开始达到 Twitter、Google 等成功的水平。我们大多数人都没有达到那个水平:)

    【讨论】:

      【解决方案2】:

      如果不是真的需要,我认为没有必要限制自己使用长轮询。编写了一些库来利用可能的最佳选项(如果以前的选项都不可用,可能是短轮询、长轮询、websockets 甚至是微型闪存插件)。 Node.js 拥有最适合此类工作的库之一,称为 Socket.IO,但幸运的是还有两个 Python 实现可用,gevent-socketio 和 tornadio,但后来构建在 tornado 框架之上,所以可能是不可能的。

      如果这适合您,您可以将它们与一些 NoSQL(文档)数据库结合起来,事实证明它比关系数据库更快、更轻量级。有很多选择,包括 CouchDB、MongoDB、Redis,...... Socket.IO 和基于文档的 DB 的组合已被证明是快速、轻量级和可靠的。

      虽然我看到您已经在 cmets 中考虑过 NoSQL,但我个人的看法是,如果您需要一个快速简单的解决方案,并且上述选项适合您,那么这是您可能采取的最佳机会。

      【讨论】:

        【解决方案3】:

        您应该决定是使用“拉”还是“推”架构来传递消息,请参阅post on quora!如果您喜欢将通知“推送”到其接收者的解决方案,基于缓存/nosql 的系统是可取的,因为它们不会为大量写入操作产生如此高的负载。

        例如,Redis 及其排序的集合/列表数据结构为您提供了很多实例。参见例如。 this post(尽管它不是 python)来了解一下。您还可以查看“真实”消息队列,例如 RabbitMQ!

        对于客户端连接,这里的其他帖子应该已经为您提供了一些关于如何使用扭曲和类似框架的想法。

        Celery 总是一个很好的工具,例如。在异步作业中将所有写入用户的活动流!

        【讨论】:

        • 感谢您的洞察力;不过,我一直在寻找 轻量级 解决方案,因为没有必要为站点中的单个页面安装 NoSQL 数据库,对吧?
        【解决方案4】:

        您是否考虑过使用信号?您可以在 recent_activity_post_save() 中发送一个信号,并且可能有一个将信息存储在缓存中的侦听器。

        视图只会参考缓存以查看是否有新通知。当然你不需要信号,但恕我直言,那样会更干净一些,因为你可以添加更多的“通知处理程序”。

        这似乎是最佳选择,因为您不需要轮询数据库(人为加载),通知几乎立即“可见”(仅在处理信号和与缓存交互所需的时间之后)。

        所以伪代码应该是这样的:

        # model
        def recent_activity_post_save():
            post_save_signal.send()
        
        # listener
        def my_handler( ... ):
            cache.set( 'notification', .... )
        
        post_save_signal.connect( my_handler )
        
        # view
        def my_view( request ):
            new_notification = None
            while not new_notification:
                sleep(1)
                new_notification = cache.get( 'notification' )
            return HttpResponse(...)
        

        【讨论】:

        • 这正是我现在使用的;这对我来说似乎也是最优的,但我一直在寻找关于这个主题的其他意见。 +1
        • 我一直喜欢这个解决方案,直到我看到while not new_notification 行......理论上这不能无限期地挂在请求上——大概是某种 ajax 轮询请求——而它等待新的通知进来?如果缓存为空,从视图中返回一个空数据集不是更好吗?
        • @DMactheDestroyer 那是某种伪代码,当然如果没有新活动,它只会在 30 秒左右后返回一个空结果。
        • 你能详细解释一下cache.set( 'notification', .... ) 在信号处理程序中(如你所见)与直接在recent_activity_post_save 中(不需要信号)相比的优势吗?
        • @dkamins 拥有信号的主要好处(恕我直言)是代码是解耦的,即recent_activity_post_save() 代码不必(有些人可能会说它不应该)“知道" 关于通知代码。它的任务是保存帖子,即使通过发送信号也可能让其他人知道这一点(虽然不知道谁在听)。因此,更简洁、解耦的代码将是一回事。
        【解决方案5】:

        这是一个类似的讨论,从服务器端的角度回答:Making moves w/ websockets and python / django ( / twisted? ) ,最重要的答案是this one。

        还有this answer,指向一个非常可靠的替代方案,可以从 Django 中尝试。

        如果您真的希望从现有的 Django 应用程序中提供此服务,请不要在服务器端执行此操作。将 HTTP 套接字作为一个浏览器连接的人质是破坏应用程序的快速方法。两种合理的选择是:探索各种 Web 套接字选项(例如上面使用 Pyramid 托管服务的选项),或者让浏览器定期向服务器发送轮询请求以查找更新。

        【讨论】:

        • 这通常是个好建议,但问题确实明确指出“在 django 中(使用 AJAX 长轮询)”。
        【解决方案6】:

        如果您想要 comet 解决方案,那么 you could use orbited。不过让我警告你,因为它是一个相当小众的解决方案,所以很难找到关于如何在生产环境中部署和使用 orbited 的好的文档。

        【讨论】:

          【解决方案7】:

          您可以使用彗星解决方案,例如Ape project。此类项目旨在向浏览器发送实时数据,并可以利用现代浏览器的 web sockets 功能。

          【讨论】:

            【解决方案8】:

            您可以使用触发器(每当发布新帖子时触发)。例如,此触发器可以在轮询目录中写入一个新文件,其中包含必要的数据(例如主键)。然后,您的 python 可以只监视该文件夹中的新文件创建,而无需在出现新文件之前访问数据库。

            【讨论】:

              猜你喜欢
              • 2015-05-01
              • 2011-03-12
              • 1970-01-01
              • 1970-01-01
              • 2015-08-30
              • 1970-01-01
              • 1970-01-01
              • 1970-01-01
              • 1970-01-01
              相关资源
              最近更新 更多