Sqoop采集数据的时候出现数据倾斜解决方法(--split-by --num-mappers)
注意:
–split-by 后面要是int类型,并且是连续递增的,那么sqpli-by 会平分的很均匀,要是不是自增的那么有的maptask还是很忙,而有的maptask则不是很忙
–num-mappers 后面设置的maptask数目大于1的话,那么–split-by 后面必须跟字段,因为–num-mappers 后面要是1的话,那么
–split-mappers 后面跟不跟字段都没有意义,因为,他只会启动一个maptask进行数据处理。

相关文章:

  • 2021-10-18
  • 2021-06-14
  • 2021-05-26
  • 2022-02-09
  • 2021-07-31
  • 2021-12-12
  • 2022-12-23
  • 2021-06-14
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2021-08-02
  • 2021-09-15
  • 2021-07-15
  • 2021-07-07
  • 2022-01-17
相关资源
相似解决方案