【问题标题】:Process and Query big amount of large files in JSON Lines format处理和查询大量 JSON Lines 格式的大文件
【发布时间】:2018-01-04 15:04:19
【问题描述】:

哪种技术最适合导入大量大型 JSON Line 格式文件(每个文件大约 2 GB)。

我正在考虑 Solr。

一旦导入数据,它就必须是可查询的。

您建议导入哪种技术,然后及时查询JSON行格式数据?

【问题讨论】:

    标签: json solr large-files jsonlines large-data


    【解决方案1】:

    您需要得到有效Solr的JSON,它通过HTTP发送到Solr可以开始与你喜欢一些脚本语言原型,读取线,按摩格式。请问更快地走了。 P>

    从长期来看,SolrJ将让你获得最大的PERF(如果需要),你可以: P>

    1. 直接打前导复制品在Solrcloud环境 LI>
    2. 使用多线程摄取和发送的文档(也可以用多个进程)。不,这是难以/不可能与所有其他技术,但在一些人来说是。
    3. 可以选择使用所有SolrJ API的完全灵活性 LI>

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-05-14
      • 1970-01-01
      • 1970-01-01
      • 2023-03-24
      • 2018-09-16
      • 1970-01-01
      相关资源
      最近更新 更多