更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Qifan Pu在Spark Summit EU 2016上的演讲,主要介绍了如何在多核机器上提升Spark的性能表现以及如何研究和实现内存shuffle。


因为Spark开始时是作为集群计算框架出现的,所以产生了多核机器上关于Spark的性能表现的研究,Spark的设计是基于多计算节点的,本讲义中Qifan Pu着重探讨了数据交互也就是shuffle。


【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能

【Spark Summit EU 2016】在多核机器上提升Spark性能


相关文章:

  • 2021-10-26
  • 2021-06-30
  • 2021-09-04
  • 2021-08-14
  • 2021-08-19
  • 2021-05-23
  • 2021-11-10
  • 2021-10-02
猜你喜欢
  • 2021-12-12
  • 2021-08-15
  • 2021-12-20
  • 2021-06-30
  • 2021-05-04
  • 2021-09-26
  • 2021-11-30
相关资源
相似解决方案