elasticsearch-hadoop异常:Incompatible types found in multi-mapping解决

elasticsearch-hadoop从不同index导入数据的时候,如果有相同字段的类型不一致,会报这个错误,说明类型冲突。

原因是,spark会先从es中拿出所有index的映射,构建一个映射的Map,构建好映射才会去真实的取出数据。构建映射时当有不同类型的时候,会抛出异常。

elasticsearch-hadoop异常:Incompatible types found in multi-mapping解决

解决办法:如果这个字段后续用不到字段,就把这段注释掉。前提是保证自己需要的字段的索引都一致。

注释这段后,可以重新打包工程,放入maven库中。es-hadoop是使用gradle构建工程的,老版本从github上下载下来后没有“.git”库,会报错,需要从最近版本中下载.git拷贝到其中。

相关文章:

  • 2021-04-17
  • 2022-12-23
  • 2021-04-14
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-08-27
  • 2022-12-23
猜你喜欢
  • 2022-03-02
  • 2022-12-23
  • 2022-12-23
  • 2022-02-12
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
相关资源
相似解决方案