分类：Spark流计算

2020
10-08

使用Spark进行实时流计算的方法

SparkStreamingVSStructuredStreamingSparkStreaming是Spark最初的流处理框架，使用了微批的形式来进行流处理。提供了基于RDDs的DstreamAPI，每个时间间隔内的数据为一个RDD，源源不断对RDD进行处理来实现流计算ApacheSpark在2016年的时候启动了StructuredStreaming项目，一个基于SparkSQL的全新流计算引擎StructuredStreaming，让用户像编写批处理程序一样简单地编写高性能的流处理程序。StructuredStreaming... 继续阅读 >