Spark Streaming 源码解析系列
本系列内容适用范围: * 2015.12.05 update, Spark 1.6 全系列 √ (1.6.0-preview,尚未正式发布) * 2015.11.09 update, Spark 1.5 全系列 √ (1.5.0, 1.5.1, 1.5.2) * 2015.07.15 update, Spark 1.4 全系列 √ (1.4.0, 1.4.1) * 2015.04.17 update, Spark 1.3 全系列 √ (1.3.0, 1.3.1)
- 概述 </li>
- 模块 1:DAG 静态定义
- 1.1 DStream, DStreamGraph 详解
- 1.2 DStream 生成 RDD 实例详解 </ul> </li>
- 模块 2:Job 动态生成
- 2.1 JobScheduler, Job, JobSet 详解
- 2.2 JobGenerator 详解 </ul> </li>
- 模块 3:数据产生与导入
- 3.1 Receiver 分发详解
- 3.2 Receiver, ReceiverSupervisor, BlockGenerator, ReceivedBlockHandler 详解
- 3.3 ReceiverTraker, ReceivedBlockTracker 详解 </ul> </li>
- 模块 4:长时容错
- 预计 12.134.1 Executor 端长时容错详解
- 预计 12.134.2 Driver 端长时容错详解 </ul> </li>
- StreamingContext
- 预计 12.205.1 StreamingContext 详解 </ul> </li> </ul>
Spark Streaming 史前史(1)
作为跑在商业硬件上的大数据处理框架,Apache Hadoop 在诞生后的几年内(2005~今)火的一塌糊涂,几乎成为了业界处理大数据的事实上的标准工具:
Spark Streaming 史前史(2)
不过大家逐渐发现还需要有单独针对流式数据(其特点是源数据实时性高,要求处理延迟低)的处理需求;于是自 2010 年起又流行起了很多通用流数据处理框架,这种与 Hadoop 等批处理框架配合使用的“批+实时”的双引擎架构又成为了当前事实上的标准:
Spark Streaming 诞生
本系列文章,就来详解发布于 2013 年的 Spark Streaming。
https://github.com/proflin/CoolplaySpark
本文由用户 dfd7 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
转载本站原创文章,请注明出处,并保留原始链接、图片水印。
本站是一个以用户分享为主的开源技术平台,欢迎各类分享!