序列化问题多事rdd遍历过程中使用了没有序列化的对象。

1.将未序列化的变量定义到rdd遍历内部。如定义入数据库连接池。

spark error  Caused by: java.io.NotSerializableException: org.apache.hadoop.hdfs.DistributedFileSystem

 

 

 2.常量定义里包含了未序列化对象 ,提出去吧

如下常量要放到main里,不能放到rdd的遍历中。

 val HBASE_TABLE = sparkModel.getUserParamsVal("hbbase_table", "default_table_name")

 

相关文章:

  • 2022-01-18
  • 2021-05-24
  • 2022-12-23
  • 2021-07-21
  • 2021-06-14
  • 2021-07-05
  • 2021-11-07
  • 2021-09-15
猜你喜欢
  • 2021-08-07
  • 2021-06-25
  • 2021-11-14
  • 2022-12-23
  • 2021-08-17
  • 2021-09-19
相关资源
相似解决方案