df.cache() 存储在哪里是存储在驱动程序内存还是执行程序内存上

【问题标题】：where does df.cache() is stored is this store on driver memory or executor memorydf.cache() 存储在哪里是存储在驱动程序内存还是执行程序内存上
【发布时间】：2020-01-23 19:27:13
【问题描述】：

块引用

如果它存储执行器级别，那么它应该在数据帧大小大于执行器内存的情况下通过内存不足错误

【问题讨论】：

标签： apache-spark caching pyspark

【解决方案1】：

它存储在执行器中。如果您选择存储级别为 StorageLevel.MEMORY_AND_DISK 或 StorageLevel.MEMORY_AND_DISK_SER，那么它会在内存不足时将数据存储在磁盘中。

【讨论】：

所以如果用户选择 MEMORY_ONLY 那么它会在执行程序内存开销的情况下出现错误我正确吗？
不，它会缓存可以缓存的数据，而rest不会缓存，所以在这一点上没有使用缓存
我认为如果MEMORY_ONLY不能将所有数据存储在内存中，它会崩溃。
不是不会，它会在运行时计算剩余数据，没有任何崩溃