Spark On YARN模式遵循YARN的官方规范,YARN只负责资源的管理和调度,运行哪种应用程序由用户自己决定,因此可能在YARN上同时运行MapReduce程序和Spark程序,YARN对每一个程序很好地实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中,共享集群存储资源与计算资源。
一:提交方式
Spark On YARN模式与Standalone模式一样,也分为client和cluster两种提交方式。
1. client提交方式
2. cluster提交方式
二:Spark On YARN模式的集群搭建