Elasticsearch：索引推文 - 映射、模板或 ETL答案

【问题标题】：Elasticsearch: Indexing tweets - mapping, template or ETLElasticsearch：索引推文 - 映射、模板或 ETL
【发布时间】：2015-12-05 19:23:41
【问题描述】：

我即将将来自 Apache NiFi 到 Elasticsearch 的推文索引为 POST，并希望执行以下操作：

将create_at 字段设为日期。我应该为此使用映射模板还是索引模板？
使某些字段不被分析。如主题标签、URL 等。
想要存储的不是整个推文，而是一些重要字段。像文本一样，不是所有的用户信息，而是一些字段、主题标签、来自实体的 URL（在帖子 URL 中）。不需要引用的来源。等等。在这种情况下我应该使用什么？模板？使用一些 ETL 过程对推文进行预处理，以便提取我需要的数据并在 ES 中编制索引？

我有点困惑。将非常感谢建议。

提前致谢。

【问题讨论】：

在第 2 点中，我不确定您所说的“运河化”是什么意思？你是说分析过的吗？
NiFi 社区中有几个人对与 Elastic 搜索集成感兴趣。一直在谈论将数据从 NiFi 获取到 ES 的批量导入器以及将数据从 ES 获取到 NiFi 的查询机制。如果您有兴趣合作或有任何疑问，请联系我们 dev@nifi.apache.org。谢谢
嗨，乔，在#2 中，我想要一些未分析的字段。有ES处理器就好了。为您发送电子邮件。

标签： elasticsearch elasticsearch-2.0 elasticsearch-mapping elasticsearch-template apache-nifi

【解决方案1】：

我猜你的 NiFi 中配置了 GetTwitter 和 PostHTTP 之类的东西。 NiFi 已经是某种 ETL，所以你可能不需要另一个。但是，由于您不想索引来自 Twitter 的整个 JSOn，显然您需要另一个 NiFi 进程来选择您想要的内容并将原始 JSON 转换为另一个更轻量级的 JSON。 Here 是关于如何为 Solr 执行此操作的示例，但我不确定 Elasticsearch 是否存在相同的处理器。

This article关于使用 Logstash 将 Twitter 数据流式传输到 Elasticsearch 显示了一个可能的索引模板，您可以使用它来构建自己的模板（即，如果您愿意，可以添加 create_at 数据字段）。

由于您不想为所有内容编制索引，因此您可以采用的方法显然是提出您自己的映射，然后您可以在索引模板中使用它。使用索引模板，您将能够创建您认为合适的每日/每周/每月推特索引。

【讨论】：

谢谢。 A 会尝试的。