SparkContext对象的构建 以及 Spark程序的退出, 由 Driver 负责执行
具体的数据处理步骤, 由Executor在执行.
其实简单来说就是:
非数据处理的部分由Driver工作
数据处理的部分(干活)由Executor工作
要知道: Executor不仅仅是一个, 视集群规模,Executor的数量可以是很多的.
那么在这里一定要有一个概念: 代码中的数据处理部分,是由非常多的服务器(Executor)执行的.
这也是分布式代码执行的概念.
分布式代码执行分析
发布时间 2024-01-13 09:44:38作者: 阿飞藏泪