【发布时间】:2018-07-06 17:00:38
【问题描述】:
上周运行良好。但从本周开始,部分实例响应503失败。尝试再次部署它,有时修复了问题,但在 1 天后再次因 503 故障而中断。不知道如何调试问题。代码是一样的,它之前工作过。
它以 GAE 标准运行。 更改日志权限后更新日志:
2018-07-09 09:53:09.000 CDT 信息:将 Java 堆大小限制为:2563M 2018-07-09 09:53:09.000 CDT 2018-07-09 14:53:09.670:INFO::main: 日志记录已初始化 @412ms 2018-07-09 09:53:11.000 CDT 2018-07-09 14:53:11.111:INFO:oejs.Server:main: jetty-9.3.5.v20151012 2018-07-09 09:53:11.000 CDT 2018-07-09 14:53:11.204:INFO:oejs.AbstractNCSARequestLog:main: 打开 /var/log/app_engine/request.2018_07_09.log 2018-07-09 09:53:13.000 CDT 警告:读取日志记录属性时捕获异常。 2018-07-09 09:53:13.000 CDT java.io.FileNotFoundException: WEB-INF/logging.properties (没有这样的文件或目录) 2018-07-09 09:53:26.000 CDT 2018-07-09 14:53:26.917:WARN:oeja.AnnotationConfiguration:main: ServletContainerInitializers: 检测到。类层次结构:空 2018-07-09 09:53:27.000 CDT 2018-07-09 14:53:27.338:INFO:oejsh.ContextHandler:main: 开始 c.g.a.v.j.VmRuntimeWebAppContext@fad74ee{/,file:///var/lib/jetty/webapps/root/,AVAILABLE} 2018-07-09 09:53:27.000 CDT 2018-07-09 14:53:27.388:INFO:oejs.ServerConnector:main: 启动 ServerConnector@1697a57c{HTTP/1.1,[http/1.1]}{0.0.0.0:8080} 2018-07-09 09:53:27.000 CDT 2018-07-09 14:53:27.392:INFO:oejs.Server:main: 开始@18134ms 2018-07-09 09:54:55.000 CDT 2018 年 7 月 9 日下午 2:54:55 com.google.apphosting.vmruntime.jetty9.VmRuntimeWebAppContext doScope 2018-07-09 09:54:55.000 CDT 警告:对“/_ah/start”的请求的响应已经提交(代码=302)。这可能会导致日志消息丢失。 2018-07-09 09:54:55.472 CDT 得到 302 0乙 67 毫秒 卷曲/7.52.1 /_ah/开始 2018-07-09 09:55:59.000 CDT 2018 年 7 月 9 日下午 2:55:59 com.google.apphosting.utils.servlet.VmStopFilter doFilter 2018-07-09 09:55:59.000 CDT 信息:运行关闭挂钩 2018-07-09 09:55:59.000 CDT 2018 年 7 月 9 日下午 2:55:59 com.google.apphosting.vmruntime.VmAppLogsWriter waitForCurrentFlush 2018-07-09 09:55:59.000 CDT INFO:请求结束或先前的刷新尚未完成,阻塞。 2018-07-09 09:56:02.000 CDT 2018 年 7 月 9 日下午 2:56:02 com.google.apphosting.vmruntime.VmApiProxyDelegate runSyncCall 2018-07-09 09:56:02.000 CDT 信息:错误正文:RPC 错误:/StubbyService.Send to(未知):APP_ERROR(2) 2018-07-09 09:56:02.000 CDT 2018 年 7 月 9 日下午 2:56:02 com.google.apphosting.vmruntime.VmAppLogsWriter waitForCurrentFlush 2018-07-09 09:56:02.000 CDT 警告:日志刷新请求失败。日志消息可能已丢失! 2018-07-09 09:56:02.000 CDT java.util.concurrent.ExecutionException: com.google.apphosting.api.ApiProxy$RPCFailedException: 到应用程序服务器的远程 RPC 调用 logservice.Flush() 失败。在 java.util.concurrent.FutureTask.report(FutureTask.java:122) 在 java.util.concurrent.FutureTask.get(FutureTask.java:206) 在 com.google.apphosting.vmruntime.VmAppLogsWriter.waitForCurrentFlush(VmAppLogsWriter.java :226) com.google.apphosting.vmruntime.VmAppLogsWriter.flushAndWait(VmAppLogsWriter.java:211) com.google.apphosting.vmruntime.VmApiProxyEnvironment.flushLogs(VmApiProxyEnvironment.java:508) com.google.apphosting.vmruntime。 VmRuntimeUtils.flushLogsAndAddHeader(VmRuntimeUtils.java:109) 在 com.google.apphosting.vmruntime.jetty9.VmRuntimeWebAppContext.doScope(VmRuntimeWebAppContext.java:323) 在 org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java: 141) 在 org.eclipse.jetty.server.handler.HandlerCollection.handle(HandlerCollection.java:109) 在 org.eclipse.jetty 的 org.eclipse.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:213) .server.handler.HandlerWrapper.handle(HandlerWrapper.java:119) 在 org.eclipse.jetty.server.Serv er.handle(Server.java:517) at org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:306) at org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java:242) at org .eclipse.jetty.io.AbstractConnection$ReadCallback.succeeded(AbstractConnection.java:261) 在 org.eclipse.jetty.io.FillInterest.fillable(FillInterest.java:95) 在 org.eclipse.jetty.io.SelectChannelEndPoint$2。在 org.eclipse.jetty.util.thread.strategy.ExecuteProduceConsume.run(ExecuteProduceConsume.run(ExecuteProduceConsume.java:213) 运行(SelectChannelEndPoint.java:75) java:147) 在 org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:654) 在 org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:572) 在 java. lang.Thread.run(Thread.java:745) 原因:com.google.apphosting.api.ApiProxy$RPCFailedException:调用 logservice.Flush() 到应用服务器的远程 RPC 失败。在 com.google.apphosting.vmruntime.VmApiProxyDelegate.runSyncCall(VmApiProxyDelegate.java:175) 在 com.google.apphosting.vmruntime.VmApiProxyDelegate.makeApiCall(VmApiProxyDelegate.java:155) 在 com.google.apphosting.vmruntime.VmApiProxyDelegate.access $000(VmApiProxyDelegate.java:75) 在 com.google.apphosting.vmruntime.VmApiProxyDelegate$MakeSyncCall.call(VmApiProxyDelegate.java:434) 在 com.google.apphosting.vmruntime.VmApiProxyDelegate$MakeSyncCall.call(VmApiProxyDelegate.java:410)在 java.util.concurrent.FutureTask.run(FutureTask.java:266) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java :617) ... 还有 1 个 2018-07-09 09:56:02.000 CDT 2018-07-09 09:56:02.213 CDT 得到 200 2乙 2.4 秒 卷曲/7.52.1 /_啊/停止 2018-07-09 09:56:03.000 CDT 2018-07-09 14:56:03.226:INFO:oejs.ServerConnector:Thread-1: 停止 ServerConnector@6ef8e973{HTTP/1.1,[http/1.1]}{0.0.0.0:8080} 2018-07-09 09:56:03.000 CDT 2018-07-09 14:56:03.258:INFO:oejsh.ContextHandler:Thread-1: 停止 cgavjVmRuntimeWebAppContext@fad74ee{/,file:///var/lib/jetty/webapps/root/,UNAVAILABLE}
权限改变:
triage@appspot.gserviceaccount.com App Engine 默认服务帐户
编辑
日志编写器
所有者
有趣的是它直到上周都运行良好。
当我尝试访问该网站时显示 503 错误。 2018-07-11 11:16:26.296 CDT 得到 302 0乙 1 毫秒 铬 67 / 144.188.128.2 - - [11/Jul/2018:11:16:26 -0500] "GET / HTTP/1.1" 302 - - "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36" "jira-dot-triage-dash.appspot.com" ms=NaN cpu_ms=0 cpm_usd=0 loading_request=0 instance=- app_engine_release=1.9.54 trace_id=c5f3ef3880f528001e59cf18cd707937
2018-07-11 11:16:27.637 CDT 得到 503 0乙 7 毫秒 铬 67 / 144.188.128.2 - a2003 [11/Jul/2018:11:16:27 -0500] "GET / HTTP/1.1" 503 - - "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36" "triage.appspot.com" ms=NaN cpu_ms=0 cpm_usd=0 loading_request=0 instance=- app_engine_release=1.9.54 trace_id=1ce270202eb79067c9c6020089379b1b
【问题讨论】:
-
如果您的应用程序流量较低,则可能是 App Engine 需要启动一个新实例来处理请求,而这需要很长时间以导致请求中止。考虑减少应用为首次请求做好准备所要做的工作量。
-
该应用的流量非常低。事实上,初始化期间唯一做的就是读取一些数据存储数据。我可以删除它们进行检查。但我怀疑它的影响。该实例运行良好。
-
我猜这可能是由于错误“INFO: Error body: RPC Error: /StubbyService.Send to (unknown) : APP_ERROR(2)”。