spark算子:distinct去重的原理

spark算子:distinct去重的原理

1、Distinct是transformation算子,不是action算子。

2、Distinct的去重,是当key与value都一样的时候,会被当做重复的数据。

     也就是说,有多条key和value都相同的数据在执行完distincct之后,只会保留1条。

原文地址:https://blog.csdn.net/wyqwilliam/article/details/82110860

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2022-01-13
  • 2021-07-15
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2021-12-10
  • 2022-12-23
  • 2021-09-23
  • 2021-08-04
  • 2021-09-02
  • 2022-02-14
相关资源
相似解决方案