| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
jopen
6年前发布

Spark核心——RDD

Spark中最核心的概念为 RDD(Resilient Distributed DataSets) 中文为: 弹性分布式数据集 ,RDD为对分布式内存对象的 抽象它表示一个 被分区不可变 且能 并行操作 的数据集;RDD为可序列化的、可缓存到内存对RDD进行操作过后还可以存到内存中,下次操作直接把内存中RDD作为输入,避免了Hadoop MapReduce的大IO操作;

RDD生成

Spark所要处理的任何数据都是存储在RDD之中,目前两种方式可以生成一个RDD:

1、从RDD进行转换操作

2、使用外部存储系统创建,如:HDFS;

RDD操作

RDD支持两种操作:

转换(transformation operation)

转换操作将一个RDD经过操作后返回一个全新的RDD,转换操是lazy(惰性)的这期间不会产生任何数据的计算;

转换函数有:distinct、filter、map、flatMap、union、groupByKey等;

行动(action operation)

每一个行动操作都会触发Spark Job进行计算并返回最终的结果, 行动操作有这么几类: 返回标量,count返回元素的个数;返回Scala集合,task(n)返回0到n-1组成的集合;写入外部存储,saveAsHadoopFile(path)存储到HDFS;

行动函数有:count、top、task、saveAsHadoopFile等;

RDD为 不可变 的数据集,可以使用转换操作“修改”一个RDD,但这操作过后返回的是一个全新的RDD 原本RDD并没有改变;

RDD状态转换图

Lineage

Spark RDD只支持 粗粒度 的操作,对一个RDD的操作都会被作用于该RDD的所有数据;为了保证RDD的高可用性RDD通过使用 Lineage(血统)记录 了RDD演变流程(从其他RDD到当前RDD所做的操作) 当RDD分区数据丢失时可以通过Lineage的信息重新计算与恢复分区数据,或进行RDD的重建;

RDD的依赖关系(dependencies):

由于对RDD的操作都是粗粒度的一个转换操作过后都会产生一个新的RDD,RDD之间会形成一个前后依赖关系;Spark中存在两种依赖:窄依赖(Narrow Dependencies)、宽依赖(Wide Dependencies);

窄依赖(Narrow Dependencies):一个父RDD的分区只能被一个子RDD的一个分区使用;

宽依赖(Wide Dependencies):多个子RDD的分区依赖于一个父RDD的同一个分区;

窄依赖的节点(RDD)关系如果流水一般,所以当节点失败后只需重新计算父节点的分区即可,宽依赖需要重新计算父节点的多个分区代价是非常昂贵的;

窄依赖Narrow

宽依赖Wide

参考资料:

http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf

http://spark.apache.org/docs/latest/programming-guide.html

</div>

来自: http://www.solinx.co/archives/548

 本文由用户 jopen 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1452339654042.html
Spark 分布式/云计算/大数据