如何检查 ElasticSearch 上的重复数据？答案

【问题标题】：How do I check for duplicate data on ElasticSearch?如何检查 ElasticSearch 上的重复数据？
【发布时间】：2012-12-27 08:32:06
【问题描述】：

当存储一些文档时，它应该存储不存在的并忽略其余的（这应该在应用程序级别完成，也许检查文档的id是否已经存在等？）

【问题讨论】：

标签： search elasticsearch deduplication

【解决方案1】：

这是文档中所述的内容：

操作类型

索引操作还接受一个可用于强制创建操作的 op_type，从而允许“put-if-absent”行为。使用 create 时，如果索引中已存在该 id 的文档，则索引操作将失败。

这里是一个使用 op_type 参数的例子：

$ curl -XPUT 'http://localhost:9200/twitter/tweet/1?op_type=create' -d '{
    "user" : "kimchy",
    "post_date" : "2009-11-15T14:12:12",
    "message" : "trying out Elastic Search"
}'

指定创建的另一个选项是使用以下 uri：

$ curl -XPUT 'http://localhost:9200/twitter/tweet/1/_create' -d '{
    "user" : "kimchy",
    "post_date" : "2009-11-15T14:12:12",
    "message" : "trying out Elastic Search"
}'

【讨论】：