13518219792
本篇文章给大家分享的是有关Spark2.x入门中SparkStreaming的工作原理是什么，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。
创新互联主要从事做网站、成都网站设计、网页设计、企业做网站、公司建网站等业务。立足成都服务太湖,10余年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575
官网翻译大体意思如下：
SparkStreaming是核心SparkApi的扩展，支持可伸缩、高吞吐量、容错的实时数据流处理。数据可以从许多来源获取，如Kafka、Flume、Kinesis或TCP sockets，可以使用复杂的算法处理数据，这些算法用高级函数表示，如map、reduce、join和window。最后，处理后的数据可以推送到文件系统、数据库和活动仪表板。实际上，您可以将Spark的机器学习和图形处理算法应用于数据流。
内部工作原理：SparkStreaming接受实时输入数据流，并将数据分成批次，然后由Spark engine处理，以批量生成最终的结果流。
DStream是SparkStreaming流提供的基本抽象。它表示连续的数据流，可以是从源接收到的输入数据流，也可以是通过转换输入流生成的经过处理的数据流。在内部，DStream由一系列连续的RDD表示，RDD是Spark对不可变的分布式数据集的抽象。DStream中的每个RDD包含来自某个间隔的数据，如下图所示。
应用于DStream上的任何操作都转换为底层RDD上的操作。例如，在前面将一个行流转换为单词的示例中，flatMap操作应用于行DStream中的每个RDD，以生成单词DStream的RDD。如下图所示。
这些底层的RDD转换是由Spark引擎计算的。DStream操作隐藏了这些细节中的大部分，并为开发人员提供了更高级的API。这些操作将在后面的小节中详细讨论。
SparkStreaming 、Flink 、Storm 三种流式处理框架对比分析
| SparkStreaming | Flink | Storm | |
| 吞吐量 | 高吞吐 | 高吞吐 | 低吞吐 |
| 实时性 | 秒级延迟 | 低延迟，毫秒级（百毫秒） | 低延迟，毫秒级(几十毫秒) |
| 乱序、延迟处理 | 无 | flink通过warterMarker水印支持乱序和延迟处理，这个spark没有 | 无 |
| 保证次数 | exactly-once | exactly-once | at-least-once |
| 动态调整并行度 | 不支持 | 支持 | 支持 |
| 容错 | 基于RDD的checkpoint | 基于分布式Snapshot的checkpoint | 基于Record记录的ack机制 |
以上就是Spark2.x入门中SparkStreaming的工作原理是什么，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联行业资讯频道。
