-
A list of partitions RDD是一个由多个partition(某个节点里的某一片连续的数据)组成的的list;将数据加载为RDD时,一般会遵循数据的本地性(一般一个hdfs里的block会加载为一个partition)。
-
A function for computing each split RDD的每个partition上面都会有function,也就是函数应用,其作用是实现RDD之间partition的转换。
-
A list of dependencies on other RDDs RDD会记录它的依赖 ,为了容错(重算,cache,checkpoint),也就是说在内存中的RDD操作时出错或丢失会进行重算。
-
Optionally,a Partitioner for Key-value RDDs 可选项,如果RDD里面存的数据是key-value形式,则可以传递一个自定义的Partitioner进行重新分区,例如这里自定义的Partitioner是基于key进行分区,那则会将不同RDD里面的相同key的数据放到同一个partition里面
-
Optionally, a list of preferred locations to compute each split on
最优的位置去计算,也就是数据的本地性。