流数据是随着时间的推移而产生的数据元素序列。流处理是对流数据的处理。与批处理不同,流数据会在产生后立即被逐一处理。
流处理具有以下特点。
流处理将应用和分析统一起来。这简化了整个基础设施,因为许多系统可以建立在一个共同的架构上,也允许开发人员建立应用程序,使用分析结果来响应数据中的洞察力,以采取行动。
在边缘侧,大部分数据都是以连续流的形式诞生,如传感器事件等。随着物联网的广泛应用,越来越多的边缘计算节点需要访问云网络并产生大量的数据。为了降低通信成本,减少云端的数据量,同时提高数据处理的实时性,达到本地及时响应的目的,同时在网络断开的情况下进行本地及时数据处理,有必要在边缘引入实时流处理。
有状态的流处理是流处理的一个子集,其中的计算保持着上下文状态。有状态流处理的例子包括:
状态信息可以通过以下方式找到或管理。