【问题标题】:GAE push queue tasks don't run in tests, spawn orphaned dev_appserver processesGAE 推送队列任务不在测试中运行,产生孤立的 dev_appserver 进程
【发布时间】:2018-10-15 04:22:03
【问题描述】:

我注意到我的任务工作者从未在测试中运行,并且测试中的入队/出队逻辑几乎完全解耦,这甚至使我无法验证任务是否已正确入队。

考虑以下最小示例:

app.yaml:

runtime: go
api_version: go1

handlers:
 - url: /worker/.*
   script: _go_app
   login: admin
 - url: /.*
   script: _go_app

worker/settle.go (package worker)

func SettleWorker(w http.ResponseWriter, r *http.Request) {
        ctx := appengine.NewContext(r)
        log.Infof(ctx, "Worker was successfully invoked")
}

service/main.go (package service)

func TestHandler(w http.ResponseWriter, r *http.Request) {
        ctx := appengine.NewContext(r)
        t := taskqueue.NewPOSTTask("/worker/wrongpath", map[string][]string{"name": {"BLAH"}})
        task, err := taskqueue.Add(ctx, t, "")
        if err != nil {
                http.Error(w, "Error", http.StatusBadRequest)
                return
        }
        log.Infof(ctx, "Successfully posted task to worker: %+v", task)
}

func init() {
        http.HandleFunc("/worker/settle", worker.SettleWorker)
        http.HandleFunc("/test", TestHandler)
}

service/main_test.go (package service_test)

func TestTestHandler(t *testing.T) {
        inst, err := aetest.NewInstance(nil)
        if err != nil {
                t.Fatal(err.Error())
        }
        req, err := inst.NewRequest("GET", "/", nil)
        if err != nil {
                t.Fatal(err.Error())
        }
        resp := httptest.NewRecorder()
        http.HandlerFunc(service.TestHandler).ServeHTTP(resp, req)
}

请注意,传递给 taskqueue.Add ("/worker/wrongpath") 的路径实际上并没有注册的处理程序。乍一看,当我使用goapp test bitwyrm/service -v 进行测试时,这似乎不会导致任何问题,但工作人员实际上并没有运行。我看到了快乐的日志语句,并且从 TestHandler 返回了状态码 200,但是没有出现来自 SettleWorker 的日志语句。

如果路径正确(即设置为“/worker/settle”),也会发生同样的事情。所以我无法编写测试来断言测试正在正确排队。

更糟糕的是,出于某种原因,运行此测试还会留下一个孤立的 dev_appserver.py 进程(无论使用哪个路径)。反复运行此程序最终会使我的计算机充满孤立的测试进程,最终导致通过goapp test 调用的开发服务器遇到数据库锁定问题,这意味着如果不手动杀死所有孤立的测试进程,我将无法运行我的测试套件。典型的堆栈跟踪:

...successful test output...
INFO     2018-05-04 09:02:10,762 stub_util.py:357] Applying all pending transactions and saving the datastore
INFO     2018-05-04 09:02:13,827 stub_util.py:360] Saving search indexes
Exception in thread Thread-1:
Traceback (most recent call last):
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 810, in __bootstrap_inner
    self.run()
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 763, in run
    self.__target(*self.__args, **self.__kwargs)
  File "/Users/ursa/Code/google-cloud-sdk/platform/google_appengine/google/appengine/api/taskqueue/taskqueue_stub.py", line 2182, in MainLoop
    self._ProcessQueues()
  File "/Users/ursa/Code/google-cloud-sdk/platform/google_appengine/google/appengine/api/taskqueue/taskqueue_stub.py", line 2127, in _ProcessQueues
    response_code = self.task_executor.ExecuteTask(task, queue)
  File "/Users/ursa/Code/google-cloud-sdk/platform/google_appengine/google/appengine/api/taskqueue/taskqueue_stub.py", line 2059, in ExecuteTask
    '0.1.0.2')
  File "/Users/ursa/Code/google-cloud-sdk/platform/google_appengine/google/appengine/tools/devappserver2/dispatcher.py", line 776, in add_request
    inst)
  File "/Users/ursa/Code/google-cloud-sdk/platform/google_appengine/google/appengine/tools/devappserver2/dispatcher.py", line 862, in _handle_request
    request_type=request_type)
  File "/Users/ursa/Code/google-cloud-sdk/platform/google_appengine/google/appengine/tools/devappserver2/module.py", line 818, in _handle_request
    module=self._module_configuration.module_name)
  File "/Users/ursa/Code/google-cloud-sdk/platform/google_appengine/google/appengine/api/apiproxy_stub.py", line 186, in WrappedMethod
    return method(self, *args, **kwargs)
  File "/Users/ursa/Code/google-cloud-sdk/platform/google_appengine/google/appengine/api/logservice/logservice_stub.py", line 181, in start_request
    host, start_time, method, resource, http_version, module))
OperationalError: database is locked

请注意,这一切似乎在测试之外都可以正常工作 - 当我使用 Paw 和 dev_appserver.py 在 dev 中点击这个 http 处理程序时,正确的路径会触发工作程序,并且不正确的路径会看到一系列 403 响应的日志记录重试次数(这两种行为都是您所期望的)。

我已经花了足够的时间尝试调试它,我假设它是 dev_appserver.pyaetest 中的一个实际错误,但我坚信在指责工具之前确保这不是应用程序的错.我在这里做错了什么很明显吗?

【问题讨论】:

    标签: google-app-engine go google-cloud-platform task-queue


    【解决方案1】:

    我应该知道创建“幻像”进程 - 原来我只是忘记在我创建的 aetest.Instance 上调用 Close()

    在对实例化进行错误检查后的以下行为我解决了问题:

    defer inst.Close()
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2011-07-28
      • 1970-01-01
      • 1970-01-01
      • 2013-02-19
      • 2017-10-04
      相关资源
      最近更新 更多