【发布时间】：2018-06-11 21:59:54
【问题描述】：
我想下载一些 JSON 格式的开放数据（地理数据）。
可下载文件以bz2 格式存档，大小约为 430 Mb。解压后，json 文件的重量约为 3.2 Gb。
还有机会下载对应于单个区域（总共 100 个）的部分数据。在这种情况下，每个文件的重量约为 4 Mb，解压缩后会得到一个 24 Mb 的 json 文件。
我计划在 Rails 应用程序中使用这些数据（目前使用的是 postgres 数据库）。
由于数据以 JSON 格式提供，我考虑在我的 postgres 数据库旁边集成一个 mongodb 数据库。
但我不知道 mongodb 是否能够加载这么大的文件，例如。使用mongoimport.
我听说文档大小限制为 8 或 16 Mb。但是这个限制是对应于文件的单个“行”还是文件对应于整个文档？
在后一种情况下，即使使用部分文件，也无法使用 mongodb，对吧？
但由于我也听说mongoid 很“慢”，所以我想知道将这些数据“加载”到 postgres 本身、它自己的表（甚至它自己的数据库）上是否会更好。
如果是这样，我该如何加载这些数据？
我考虑使用纯 Ruby 逐行读取文件并将数据库填充到 seed.rb 文件中。 （我知道这可能需要很长时间）
谁能告诉我在我的情况下什么是最好的选择？
一些注意事项：
我没有任何限制。
我正在使用 docker 容器。
这些数据将是只读的，以便为主应用程序中的某些字段提供自动完成功能。
我计划每周左右从新下载的文件中更新数据。
编辑：我感兴趣的“字段”（我是指 JSON 文件的键）是可以包含多个单词的字符串（即空格分隔的字符串）。
最终，我希望在单词的开头（可能位于字符串的中间）进行最快的查找搜索。
也许选择可能会受到 mongodb 和 postgres 提供的索引可能性的限制。
对于 postgres，我可以将这些数据存储在字符串字段中，甚至可以“按原样”存储在 JSONB 字段中，以提供最快的索引。
【问题讨论】：
-
提示：您知道 PostgreSQL 有几何和地理查询关键字吗？您可以（慢慢地）从 JSON 中解析地理数据，然后在完全感知的情况下将其放入数据库中，准备好被选择出来。
-
嗨，是的，我实际上在我的主应用程序中使用 PostGIS 扩展，但在这里我只对字符串值（位置名称、街道名称等）感兴趣。我对查询整个集合以提供这些字符串值非常感兴趣。
标签： ruby-on-rails json ruby mongodb postgresql