【问题标题】:How to check if the topic-queue is empty and then terminate the subscriber?如何检查主题队列是否为空然后终止订阅者?
【发布时间】:2020-03-12 22:11:07
【问题描述】:

在我的业务应用程序中,我必须定期批处理来自某个主题的所有消息,因为它比以先到先服务的方式处理它们更便宜。我目前计划这样做的方式是有一个cronjob,它每T 小时运行一次订阅者。我目前正在解决的问题是如何在处理完所有消息后终止订阅者。我想每隔T 小时启动cronjob,让订阅者使用主题队列中的所有消息并终止。据我了解,没有pub-sub Java API 可以告诉我主题队列是否为空。我想出了以下两种解决方案:

  1. 创建一个异步拉取的订阅者。在消耗所有消息时休眠t minutes,然后使用subscriber.stopAsync().awaitTerminated(); 终止它。在这种方法中,我可能不会在终止订阅者之前使用所有消息。谷歌示例here

  2. 使用Pub/Sub Cloud monitoring 到find the value of the metric subscription/num_undelivered_messages。然后使用 Google here 提供的同步拉取示例拉取这么多消息。然后终止订阅者。

有没有更好的方法来做到这一点?

谢谢!

【问题讨论】:

    标签: google-cloud-platform cloud publish-subscribe google-cloud-pubsub


    【解决方案1】:

    一个月前我在 Go 中做了同样的实现。我的假设如下:

    • 如果队列中有消息,应用程序会非常快速地消耗它们(2 条消息之间的时间少于 100 毫秒)。
    • 如果队列为空(我的应用程序已完成消费所有消息),则可以收到新消息,但慢于 100 毫秒

    因此,我实现了这个: * 每次收到消息, * 我暂停 100ms 超时 * 我处理并确认消息 * 我将 100 毫秒超时重置为 0 * 如果触发了 100 毫秒超时,我将终止我的拉取订阅

    在我的用例中,我安排每 10 分钟处理一次。所以,我在 9 分 30 秒设置了一个全局超时来完成处理,让新的应用实例继续处理

    只是一个棘手的事情:对于第一条消息,将超时设置为 2 秒。实际上,由于连接建立,第一条消息消息需要更长的时间才能到达。因此,在您初始化超时时设置一个标志“是否是第一条消息”。

    如果我的 Go 代码可以帮助您实现,我可以分享它。

    编辑

    这是我关于消息处理的 Go 代码

    func (pubSubService *pubSubService) Received() (msgArray []*pubsub.Message, err error) {
        ctx := context.Background()
        cctx, cancel := context.WithCancel(ctx)
    
        // Connect to PubSub
        client, err := pubsub.NewClient(cctx, pubSubService.projectId)
        if err != nil {
            log.Fatalf("Impossible to connect to pubsub client for project %s", pubSubService.projectId)
        }
    
        // Put all the message in a array. It will be processed at the end (stored to BQ, as is)
        msgArray = []*pubsub.Message{}
    
        // Channel to receive messages
        var receivedMessage = make(chan *pubsub.Message)
    
        // Handler to receive message (through the channel) or cancel the the context if the timeout is reached
        go func() {
            //Initial timeout because the first received is longer than this others.
            timeOut := time.Duration(3000)
            for {
                select {
                case msg := <-receivedMessage:
                    //After the first receive, the timeout is changed
                    timeOut = pubSubService.waitTimeOutInMillis // Environment variable = 200
                    msgArray = append(msgArray, msg)
                case <-time.After(timeOut * time.Millisecond):
                    log.Debug("Cancel by timeout")
                    cancel()
                    return
                }
            }
        }()
    
        // Global timeout
        go func(){
            timeOut = pubSubService.globalWaitTimeOutInMillis // Environment variable = 750
            time.Sleep(timeOut * time.Second):
            log.Debug("Cancel by global timeout")
            cancel()
            return
        }
    
        // Connect to the subscription and pull it util the channel is canceled
        sub := client.Subscription(pubSubService.subscriptionName)
        err = sub.Receive(cctx, func(ctx context.Context, msg *pubsub.Message) {
            receivedMessage <- msg
            msg.Ack()
        })
    }
    

    【讨论】:

    • 是的,这会很有帮助!
    • @Core_Dumped,我更新了我的 Go 代码。如果您在使用 Java 实现相同的事情时遇到困难,我可以尝试帮助您!告诉我
    【解决方案2】:

    对于这种情况,Cloud Pub/Sub 是否是合适的技术可能值得考虑。如果您想进行批处理,最好将数据存储在 Google Cloud Storage 或数据库中。 Cloud Pub/Sub 非常适合持续拉取/处理消息。

    您有两个建议试图确定何时没有更多消息要处理。没有真正干净的方法来做到这一点。您的第一个建议是可能的,但请记住,虽然大多数消息将非常快速地传递,但可能会有一些异常值需要更长时间才能发送给您的订阅者。如果处理所有未处理的消息很关键,那么这种方法可能不起作用。但是,如果在您下次启动订阅者时偶尔处理消息是可以的,那么您可以使用这种方法。正如 guillaum blaquiere 建议的那样,自上次收到消息以来,最好设置一个计时器,尽管我会使用 1 分钟而不是 100 毫秒的超时。

    您的第二个建议是监控未传递消息的数量,然后发送拉取请求以检索这么多消息,这不是一种可行的方法。首先,拉取请求的max_messages 属性并不能保证返回max_messages 之前的所有可用消息。在拉取响应中返回零消息是可能的,但仍然有未传递的消息。因此,您必须保留收到的消息数并尝试匹配num_undelivered_messages 指标。您必须考虑在这种情况下重复交付以及 Stackdriver 监控指标可能落后于实际值的事实。如果该值太大,您可能会试图获取您不会收到的消息。如果该值太小,您可能无法收到所有消息。

    在这两种方法中,跟踪自收到最后一条消息多久后的一种方法效果更好,但有提到的注意事项。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-03-16
      • 2011-12-19
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-11-26
      相关资源
      最近更新 更多