如何分析Spark名词解释及关系

如何分析Spark名词解释及关系，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

创新互联公司一直在为企业提供服务，多年的磨炼，使我们在创意设计，全网整合营销推广到技术研发拥有了开发经验。我们擅长倾听企业需求，挖掘用户对产品需求服务价值，为企业制作有用的创意设计体验。核心团队拥有超过十余年以上行业经验，涵盖创意，策化，开发等专业领域，公司涉及领域有基础互联网服务成都服务器托管、重庆APP软件开发、手机移动建站、网页设计、网络整合营销。

名词

driver

driver物理层面是指输入提交spark命令的启动程序，逻辑层面是负责调度spark运行流程包括向master申请资源，拆解任务，代码层面就是sparkcontext。

worker

worker指可以运行的物理节点。

executor

executor指执行spark任务的处理程序，对java而言就是拥有一个jvm的进程。一个worker节点可以运行多个executor，只要有足够的资源。

job

job是指一次action，rdd(rdd在这里就不解释了)操作分成两大类型，一类是transform，一类是action，当涉及到action的时候，spark就会把上次action之后到本次action的所有rdd操作用一个job完成。

stage

stage是指一次shuffle，rdd在操作的时候分为宽依赖(shuffle dependency)和窄依赖(narraw dependency)，如下图所示。而宽依赖就是指shuffle。

应某人要求再解释一下什么是窄依赖，就是父rdd的每个分区都只作用在一个子rdd的分区中，原话是这么说的 each partition of the parent RDD is used by at most one partition of the child RDD。