RDD电影下载链接网站 下载的哪种 忘掉了呢…

RDD通过persist方法或cache方法可以将前面的计算结果缓存默认情况下 persist() 会把数据以序列化的形式缓存在 JVM 的堆空间中。
但是并不是这两个方法被调用时立即缓存而是触发后面的action时,该RDD將会被缓存在计算节点的内存中并供后面重用
通过查看源码发现cache最终也是调用了persist方法,默认的存储级别都是仅在内存存储一份Spark的存储級别还有好多种,存储级别在object StorageLevel中定义的
在存储级别的末尾加上“_2”来把持久化数据存为两份
缓存有可能丢失,或者存储存储于内存的数據由于内存不足而被删除RDD的缓存容错机制保证了即使缓存丢失也能保证计算的正确执行。通过基于RDD的一系列转换丢失的数据会被重算,由于RDD的各个Partition是相对独立的因此只需要计算丢失的部分即可,并不需要重算全部Partition

(2)将RDD转换为携带当前时间戳不做缓存

(4)将RDD转换为攜带当前时间戳并做缓存

(5)多次打印做了缓存的结果

}

我要回帖

更多关于 电影下载 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信