大数据集的统计分析将在网络上发布

Question

我有一个与计算机无关的数据记录器，用于从现场收集数据。这些数据存储为文本文件，我手动将这些文件集中在一起并组织它们。当前格式是每个记录器每年通过一个 csv 文件。每个文件大约有 4,000,000 行 x 7 个记录器 x 5 年 = 大量数据。有些数据被组织成bins item_type、item_class、item_dimension_class，而其他数据则比较独特，比如item_weight、item_color、date_collected等等……

目前，我使用我编写的 python/numpy/matplotlib 程序对数据进行统计分析。它工作正常，但问题是，我是唯一可以使用它的人，因为它和数据都保存在我的计算机上。

我想使用 postgres 数据库在网络上发布数据；但是，我需要找到或实现一个统计工具，该工具将采用大型 postgres 表，并在适当的时间范围内返回统计结果。我对 web 上的 python 不熟悉；但是，我精通 web 端的 PHP 和离线端的 python。

应该允许用户创建自己的直方图、数据分析。例如，用户可以搜索在第 x 周和第 y 周之间发货的所有蓝色商品，而另一个用户可以搜索全年按小时对所有商品的重量分布进行排序。

我正在考虑创建自己的统计工具并为其编制索引，或者以某种方式自动化该过程以模拟大多数查询。这似乎效率低下。

我期待听到你的想法

谢谢

Answer 1

如果用户数量不太大，我认为您可以充分利用您当前的组合（python/numpy/matplotlib）。我做了一些类似的工作，我的数据量略大于 10g。数据存储在几个 sqlite 文件中，我使用 numpy 分析数据，使用 PIL/matplotlib 生成图表文件（png、gif），cherrypy 作为网络服务器，mako 作为模板语言。

如果你需要更多的服务器/客户端数据库，那么你可以迁移到 postgresql，但如果你使用 python web 框架，比如cherrypy，你仍然可以完全使用你当前的程序。