从 spark 查询弹性搜索返回空 Map 的值

Question

从 Spark 查询弹性搜索时，仅获取 _id 值，而不获取任何值。

在云中运行的弹性搜索实例。尝试从我的 Windows 笔记本电脑上运行的 Spark 查询

    val sparkConf = new SparkConf()
      .setMaster("local[*]")
      .setAppName("ElasticSearch Query")
      .set("es.nodes", "https://my-es-search.xyz.us-east-1.es.amazonaws.com")
      .set("es.port", "443")
      .set("es.nodes.wan.only", "true")

    val spark = SparkSession.builder.config(sparkConf).getOrCreate()      
    val myRdd = spark.sparkContext.esRDD("my_order_index", "?q=*")
    myRdd.take(10).foreach(println)

Maven 依赖：

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.3.3</version>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.11.12</version>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch-hadoop</artifactId>
            <version>7.0.0</version>
        </dependency>

实际结果：

(order-2019-05+2+1301,Map())
(order-2019-05+5+0,Map())
(order-2019-05+1+1283,Map())
(order-2019-05+1+1286,Map())
(order-2019-05+1+1285,Map())
(order-2019-05+3+1359,Map())
(order-2019-05+0+1236,Map())
(order-2019-05+0+1235,Map())
(order-2019-05+2+1297,Map())
(order-2019-05+6+2,Map())

从 Kibana 查询时，文档如下所示：

        "_index" : "my_order_index",
        "_type" : "order",
        "_id" : "order-2019-05+2+1301",
        "_score" : 1.0,
        "_source" : {
                   "name":"John",
                   "orderValue":"1000.00" 
        }

我关心的是为什么元组 Map 是空的，只有 Map()。如何获取我的文档？ 我什至在 Java 中尝试了相同的代码，结果完全相同，一个 Empty Map。但是，我确实在 Java 中启用了调试模式，我可以看到在后台执行的查询，获取所有列。

Answer 1

我能够重现这个问题（虽然一旦你提到了你的 pom，我很确定出了什么问题，我确实花了时间重现它）

注意您拥有的文档。它有"_type": "order"，这意味着查询到的 Elasticsearch 使用的是 7.0.0

之前的版本

7.0.0 之前的 Elasticsearch 曾经有一个 type 的概念，他们在 7.0.0 版本中已将其删除（根据此 link） .

转到浏览器并检查您在version 部分下的字段number 中观察到的内容，当您点击下面的弹性搜索服务器时：

https://my-es-search.xyz.us-east-1.es.amazonaws.com

例如当我在浏览器中点击我的本地弹性搜索实例 (http://localhost:9200) 时，我观察到以下内容：

{
  "name" : "jqzqX5D",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "11YmK-ChT4OuXW8Mb9t9tw",
  "version" : {
    "number" : "6.5.4",                    <------- Notice this. That is Elasticsearch version that is being used. 
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "d2ef93d",
    "build_date" : "2018-12-17T21:17:40.758843Z",
    "build_snapshot" : false,
    "lucene_version" : "7.5.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

您需要更新您的 pom 文件以使用相同版本的 elasticsearch-hadoop

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.3.3</version>
    </dependency>
    <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>2.11.12</version>
    </dependency>
    <dependency>
        <groupId>org.elasticsearch</groupId>
        <artifactId>elasticsearch-hadoop</artifactId>
        <version>6.5.4</version>                     <------- Change this. 
    </dependency>

执行此操作后，您应该能够看到地图中出现的值。

希望它有帮助，如果您认为它有帮助，请随时接受答案并点赞！！