| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
CharlotteOF
5年前发布

深入浅出Spark(二) 什么是RDD

   <p><img src="https://simg.open-open.com/show/abba4d181b581054f94460b6fab0c2e3.png"></p>    <p>本系列讲座是沁原对Sameer Farooqui的《Advanced Apache Spark》的解说。</p>    <p>完整视频: <a href="/misc/goto?guid=4959676853307876060" rel="nofollow,noindex"> https://www. bittiger.io/videos/NBAT gDTurWQmEqNQ6/HbcfjrPGxJHvKyzQR?utm_source=zhihu&utm_medium=zhihuAirticle&utm_content=Article817Post&utm_campaign=zhihu </a></p>    <p>原始视频参考 <a href="/misc/goto?guid=4959676853393220825" rel="nofollow,noindex"> https://www. 油Tube.com/watch? v=7ooZ4S7Ay6Y </a></p>    <p>(二)什么是RDD?</p>    <p>1. RDD的官方定义</p>    <p>RDD是Spark中的数据抽象,意思是弹性分布式数据集。在逻辑上是一个数据集,在物理上则可以分块分布在不同的机器上并发运行。RDD的数据具有不可变性(immutable)</p>    <p><img src="https://simg.open-open.com/show/298c538bbd04bb69635854a67e9a4347.png"></p>    <p>图.1. 一个逻辑RDD在物理上分块存储在不同的服务器。</p>    <p>如图所示,一个RDD数据集被分成了五块,运行在了三个worker服务器上。第一台上运行了两个RDD数据块,第二台上运行两个RDD数据库块,第三台上运行剩下的一个数据块。</p>    <p>2. RDD的生命周期</p>    <p>在Spark程序中,首先要读取或创建RDD, 然后对数据进行一系列的变换操作(Transform),保存中间结果(Cache),最后对变换结果进行处理(Action)</p>    <p>2.1 RDD的产生可以通过对内存中的数据并行化,或直接读取分布式数据库(S3, HDFS, Cassandra 等等)而来。</p>    <p><img src="https://simg.open-open.com/show/6761b1328441be04a13955edce54fda3.png"></p>    <p>图.2. 通过parallelize接口,将内存数据变成RDD。(图中sc指的是spark context实例。)</p>    <p><img src="https://simg.open-open.com/show/a66f76a6cfd7a3b1b57e2264693bbebc.png"></p>    <p>图.3. 直接读取文件生成RDD.</p>    <p>2.2. RDD支持数据变换接口,如常用的filter, map等等,在变换的过程中,RDD的数据并不立即发生实际变化(Lazily transform),而是保存了数据的依赖关系,直到要求RDD进行动作(Action)时。RDD会从全局的角度来优化Transform的运行过程。从而节省时间。</p>    <p>2.3 RDD的cache操作将数据的中间结果保存在内存中,方便下次使用。</p>    <p>2.4 RDD的Action操作将数据的运算结果进行统计和返回。常见的如count 和 collect.</p>    <p><img src="https://simg.open-open.com/show/88070f9503786478086fc40bae1d14de.png"></p>    <p>图.4. RDD操作实例</p>    <p>举个例子。如图4所示。从日志(Log)数据库中读取的文件生成logLinesRDD, 形成了四个物理分块。通过filter变换提取出日志中的错误信息, 形成errorsRDD。 通过合并coalesce形成两个块。进一步过滤提取只包含错误1的日志errorMsg1RDD。最后进行collect 动作, 将结果合并返回到Driver。中间结果,我们使用了count动作来返回一共有多少条错误日志 。用saveToCassandra将错误日志保存到Cassandra数据库中。图中绿色的箭头表示Action。红色箭头表示Transformation。</p>    <p>3. 根据数据源,RDD可以分成许多类,比如从Jdbc得来的RDD是JdbcRDD.</p>    <p><img src="https://simg.open-open.com/show/bb217349fdce80ed848adc437863e631.jpg"></p>    <p>图.5. RDD分类</p>    <p>每一类的RDD都定义如下几个重要的的特征。</p>    <ol>     <li> <p>如何分块。(Partition)</p> </li>     <li> <p>与父RDD的依赖关系(Dependency)</p> </li>     <li> <p>从父RDD求子RDD的函数(function)</p> </li>     <li> <p>希望当前RDD存储的位置(preferred location)</p> </li>     <li> <p>负责存储RDD的分块类(Partitioner)</p> </li>    </ol>    <p>特征2,3是保存了数据的产生方式, 当数据丢失时可以进行数据恢复。4,5是本地化存储策略。通过尽可能的本地存储来提高运算速度。</p>    <p><img src="https://simg.open-open.com/show/43981126eef413e759dfbdee2ba432b7.png"></p>    <p>例一: HadoopRDD</p>    <p>通过读HDFS生成的RDD。它的分块策略是每个HDFS块生成一个分块。该RDD没有父节点。我们希望这个RDD的数据块存在HDFS数据块相同的位置。不用进一步分块。</p>    <p><img src="https://simg.open-open.com/show/a0cedd651f9f587f39a82327e89b0115.png"> <img src="https://simg.open-open.com/show/3abd7ed9dba89bf78b9d5dfa83bfcdd8.png" alt="深入浅出Spark(二) 什么是RDD" width="550" height="213"> <img src="https://simg.open-open.com/show/32983fe603e2a088f88ddcab270b30bf.jpg"></p>    <p>例二. FilteredRDD</p>    <p>FilteredRDD产生在Filter操作后。分块与父RDD相同。与父RDD一一对应, 存储位置与父块相同。</p>    <p><img src="https://simg.open-open.com/show/3abd7ed9dba89bf78b9d5dfa83bfcdd8.png" alt="深入浅出Spark(二) 什么是RDD" width="550" height="213"> <img src="https://simg.open-open.com/show/5eb5ab441478d99547cf002c33742ff6.png"></p>    <p>例三:JoinedRDD</p>    <p>该RDD产生在shuffle操作之后。每个reduce操作有一个分区。依赖于被shuffle的父RDD。进一步分区是通过HashPartitioner实现的。</p>    <p>4. 总结</p>    <p>本节讲解了</p>    <ol>     <li> <p>什么是RDD</p> </li>     <li> <p>RDD的生命周期。 创建(Create),懒变换(Lazily Transform),缓存(Cache),和动作(Action)。</p> </li>     <li>RDD的分类和特征。</li>    </ol>    <p>本文作者Lion, 更多精彩内容,欢迎访问官网 <a href="/misc/goto?guid=4959676853478185334" rel="nofollow,noindex"> http:// BitTiger.io </a> 或关注 “论码农的自我修养” 微信公众号:bit_tiger</p>    <p> </p>    <p>来自:https://zhuanlan.zhihu.com/p/22062770</p>    <p> </p>    
 本文由用户 CharlotteOF 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1471486247071.html
Spark 分布式/云计算/大数据