【问题标题】:timeout pandas read_csv stringio timeout超时熊猫 read_csv stringio 超时
【发布时间】:2014-06-12 13:11:13
【问题描述】:

Pandas read_csv 使用 python 2.7、django 1.6.5、apache 和 nginx 导致我的生产服务器超时。仅当使用 StringIO.StringIO 或 io.BytesIO 之类的字符串缓冲区时才会发生这种情况。将文件名作为参数提供给 read_csv 时,一切正常。 调试没有帮助,因为在我的开发服务器上不会出现这个问题。 有什么想法吗?

【问题讨论】:

  • 调试总是有帮助的。两种环境有什么不同?同一版本的熊猫?相同的python版本?有一百万个变量需要考虑。请告诉我们更多信息。
  • 同样的蟒蛇(2.7),同样的熊猫(0.14)
  • 同样的 python,同样的 pandas 在 vi​​rtualenv 中运行。
  • 奇怪的是,从命令行运行或在 djangos 开发服务器中运行时不会出现问题,只有在 apache 下运行时才会出现问题。这意味着它可能与 apache 配置有关。当我将解析器引擎设置为“python”时,它可以工作。问题是我的代码中需要 c 引擎。 c-engine 是否需要特殊的访问权限或特权?

标签: django python-2.7 pandas


【解决方案1】:

这已经一年多了,但这是我在这个问题上发现的唯一一个 SO 线程,所以我想我会评论我们为解决它所做的工作。事实证明,嵌入式 wsgi 进程上的 pd.read_csv(FileObject, engine="C") 存在问题。我们最终通过升级到 pandas 0.17.0 解决了这个问题。另一个可行的解决方案是在守护程序模式下运行 mod_wsgi,因为这个问题似乎与 MPM 在嵌入式模式下如何使用 C 引擎运行 read_csv 的一些冲突有关。然而,我们仍然不太确定确切的问题是什么......

【讨论】:

  • 我在 pandas 0.19.0 中遇到了同样的问题,所以还没有解决!
  • @TangoAlee,你能发布更多关于你所看到的信息吗?
  • 从大师 Graham Dumpleton 那里得到了很好的答案。这个FIXED 的问题!!见stackoverflow.com/questions/40028497/…
猜你喜欢
  • 2016-03-30
  • 1970-01-01
  • 2018-01-27
  • 2019-07-12
  • 2017-08-02
  • 1970-01-01
  • 2014-02-11
相关资源
最近更新 更多