spark异常汇总(持续更新中~~)

目录

1 idea运行spark javaApi 异常

问题点:

问题再现:

解决方案:

---

1 idea运行spark javaApi 异常

问题点:

idea不识别spark泛型,报异常但是能正常运行(maven clean)

问题再现:

入下图
incompatible types.required JavaRDD<String> but 'flatMap' was inferred to JavaRDD<U>:Incompatible equality constraint:String and T

解决方案:

当前环境spark2.2 hadoop 2.7.5  scala 2.11.12
把spark2.2版本升级到2.4版本后泛型报错消失(可能是spark2.2bug 升级后修复)