spark内存分配

时间:2021-06-23 17:02:31   收藏:0   阅读:0

1.spark内存分配

技术图片

MemoryManager
	|__StaticMemoryManager	静态内存管理机制
	|__UnifiedMemoryManger  统一内存管理机制

1.静态内存管理机制

技术图片

静态内存管理机制实现起来较为简单,但没有根据具体的数据规模和计算任务做相应的配置,很容易造成"一半海水,一半火焰"的局面,即存储内存和执行内存中的一方剩余大量的空间,而另一方却早早被占满,不得不淘汰或移出旧的内容以存储新的内容。由于新的内存管理机制的出现,这种方式目前已经很少有开发者使用,出于兼容旧版本的应用程序的目的,Spark 仍然保留了它的实现。

2.统一内存管理机制

技术图片

当spark-submit ... --executor-memory 1g时候
可用内存为:1024m - 300m   300m为系统预留
统一内存为:可用内存 x 60%
storage 和 execution 各占统一内存一半


最终计算结果:
	storage: (1024 - 300) * 600 * 0.5 = 217m
	execution: (1024 - 300) * 600 * 0.5 = 217m

技术图片

1.如果双方空间都占满了,就溢出到磁盘上
2.双向占用,storage和Execution都可以占用对方的空闲空间
3.单向清除,只有Execution可以清除被storage占用的空间,反之 storage不可以清除占用。
评论(0)
© 2014 mamicode.com 版权所有 京ICP备13008772号-2  联系我们:gaon5@hotmail.com
迷上了代码!