【发布时间】:2018-10-15 04:22:03
【问题描述】:
我注意到我的任务工作者从未在测试中运行,并且测试中的入队/出队逻辑几乎完全解耦,这甚至使我无法验证任务是否已正确入队。
考虑以下最小示例:
app.yaml:
runtime: go
api_version: go1
handlers:
- url: /worker/.*
script: _go_app
login: admin
- url: /.*
script: _go_app
worker/settle.go (package worker)
func SettleWorker(w http.ResponseWriter, r *http.Request) {
ctx := appengine.NewContext(r)
log.Infof(ctx, "Worker was successfully invoked")
}
service/main.go (package service)
func TestHandler(w http.ResponseWriter, r *http.Request) {
ctx := appengine.NewContext(r)
t := taskqueue.NewPOSTTask("/worker/wrongpath", map[string][]string{"name": {"BLAH"}})
task, err := taskqueue.Add(ctx, t, "")
if err != nil {
http.Error(w, "Error", http.StatusBadRequest)
return
}
log.Infof(ctx, "Successfully posted task to worker: %+v", task)
}
func init() {
http.HandleFunc("/worker/settle", worker.SettleWorker)
http.HandleFunc("/test", TestHandler)
}
service/main_test.go (package service_test)
func TestTestHandler(t *testing.T) {
inst, err := aetest.NewInstance(nil)
if err != nil {
t.Fatal(err.Error())
}
req, err := inst.NewRequest("GET", "/", nil)
if err != nil {
t.Fatal(err.Error())
}
resp := httptest.NewRecorder()
http.HandlerFunc(service.TestHandler).ServeHTTP(resp, req)
}
请注意,传递给 taskqueue.Add ("/worker/wrongpath") 的路径实际上并没有注册的处理程序。乍一看,当我使用goapp test bitwyrm/service -v 进行测试时,这似乎不会导致任何问题,但工作人员实际上并没有运行。我看到了快乐的日志语句,并且从 TestHandler 返回了状态码 200,但是没有出现来自 SettleWorker 的日志语句。
如果路径正确(即设置为“/worker/settle”),也会发生同样的事情。所以我无法编写测试来断言测试正在正确排队。
更糟糕的是,出于某种原因,运行此测试还会留下一个孤立的 dev_appserver.py 进程(无论使用哪个路径)。反复运行此程序最终会使我的计算机充满孤立的测试进程,最终导致通过goapp test 调用的开发服务器遇到数据库锁定问题,这意味着如果不手动杀死所有孤立的测试进程,我将无法运行我的测试套件。典型的堆栈跟踪:
...successful test output...
INFO 2018-05-04 09:02:10,762 stub_util.py:357] Applying all pending transactions and saving the datastore
INFO 2018-05-04 09:02:13,827 stub_util.py:360] Saving search indexes
Exception in thread Thread-1:
Traceback (most recent call last):
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 810, in __bootstrap_inner
self.run()
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 763, in run
self.__target(*self.__args, **self.__kwargs)
File "/Users/ursa/Code/google-cloud-sdk/platform/google_appengine/google/appengine/api/taskqueue/taskqueue_stub.py", line 2182, in MainLoop
self._ProcessQueues()
File "/Users/ursa/Code/google-cloud-sdk/platform/google_appengine/google/appengine/api/taskqueue/taskqueue_stub.py", line 2127, in _ProcessQueues
response_code = self.task_executor.ExecuteTask(task, queue)
File "/Users/ursa/Code/google-cloud-sdk/platform/google_appengine/google/appengine/api/taskqueue/taskqueue_stub.py", line 2059, in ExecuteTask
'0.1.0.2')
File "/Users/ursa/Code/google-cloud-sdk/platform/google_appengine/google/appengine/tools/devappserver2/dispatcher.py", line 776, in add_request
inst)
File "/Users/ursa/Code/google-cloud-sdk/platform/google_appengine/google/appengine/tools/devappserver2/dispatcher.py", line 862, in _handle_request
request_type=request_type)
File "/Users/ursa/Code/google-cloud-sdk/platform/google_appengine/google/appengine/tools/devappserver2/module.py", line 818, in _handle_request
module=self._module_configuration.module_name)
File "/Users/ursa/Code/google-cloud-sdk/platform/google_appengine/google/appengine/api/apiproxy_stub.py", line 186, in WrappedMethod
return method(self, *args, **kwargs)
File "/Users/ursa/Code/google-cloud-sdk/platform/google_appengine/google/appengine/api/logservice/logservice_stub.py", line 181, in start_request
host, start_time, method, resource, http_version, module))
OperationalError: database is locked
请注意,这一切似乎在测试之外都可以正常工作 - 当我使用 Paw 和 dev_appserver.py 在 dev 中点击这个 http 处理程序时,正确的路径会触发工作程序,并且不正确的路径会看到一系列 403 响应的日志记录重试次数(这两种行为都是您所期望的)。
我已经花了足够的时间尝试调试它,我假设它是 dev_appserver.py 或 aetest 中的一个实际错误,但我坚信在指责工具之前确保这不是应用程序的错.我在这里做错了什么很明显吗?
【问题讨论】:
标签: google-app-engine go google-cloud-platform task-queue