Spark Dataframe upsert 到 Elasticsearch

Question

我正在使用 Apache Spark DataFrame，我想将数据插入到 Elasticsearch 我发现我可以像这样覆盖它们

val df = spark.read.option("header","true").csv("/mnt/data/akc_breed_info.csv")

df.write
  .format("org.elasticsearch.spark.sql")
  .option("es.nodes.wan.only","true")
  .option("es.port","443")
  .option("es.net.ssl","true")
  .option("es.nodes", esURL)
  .option("es.mapping.id", index)
  .mode("Overwrite")
  .save("index/dogs")

但到目前为止我注意到的是这个命令mode("Overwrite")实际上是删除所有现有的重复数据并插入新数据

有没有办法我可以upsert 他们不删除并重新编写它们？因为我需要几乎实时查询这些数据。提前致谢

Answer 1

mode("Overwrite") 出现问题的原因是，当您覆盖整个数据框时，它会立即删除与您的数据框行匹配的所有数据，看起来整个索引对我来说都是空的，我想出了如何其实upsert它

这是我的代码

df.write
  .format("org.elasticsearch.spark.sql")
  .option("es.nodes.wan.only","true")
  .option("es.nodes.discovery", "false")
  .option("es.nodes.client.only", "false")
  .option("es.net.ssl","true")
  .option("es.mapping.id", index)
  .option("es.write.operation", "upsert")
  .option("es.nodes", esURL)
  .option("es.port", "443")
  .mode("append")
  .save(path)

请注意，您必须输入"es.write.operation", "upert" 和.mode("append")

Answer 2

尝试设置：

es.write.operation = upsert

这应该执行所需的操作。您可以在https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html找到更多详细信息