Flink流计算与实时数据处理实战 - 一、Flink核心概念
本文是 Flink流计算与实时数据处理实战 的分章阅读版。
一、Flink核心概念
1.1 DataStream API核心
+-------------+ +----------+ +----------+ +----------+
| Source | --> | Transform| --> | Transform| --> | Sink |
| (Kafka/文件)| | (map) | | (window) | |(Redis/DB)|
+-------------+ +----------+ +----------+ +----------+
核心抽象:
DataStream<T> → 无界数据流(实时处理)
DataSet<T> → 有界数据集(批处理,已被DataStream统一)
KeyedStream<T,K> → 按Key分区后的流
WindowedStream → 窗口化后的流
1.2 窗口类型
+------------------------------------------------------------------+
| 窗口类型 |
+------------------------------------------------------------------+
| |
| 滚动窗口(Tumbling): 固定大小,不重叠 |
| |---5min---|---5min---|---5min---| |
| |
| 滑动窗口(Sliding): 固定大小,可重叠 |
| |---5min---| |
| |---5min---| |
| |---5min---| |
| (每1分钟滑动,窗口大小5分钟) |
| |
| 会话窗口(Session): 按活跃间隔动态切分 |
| |---session1---| gap |---session2---| |
| (超过30秒无数据则切分) |
| |
| 全局窗口(Global): 所有数据一个窗口,需自定义Trigger |
| |-----------all data-----------| |
+------------------------------------------------------------------+
1.3 状态管理
+------------------------------------------------------------------+
| Flink状态类型 |
+------------------------------------------------------------------+
| |
| Keyed State (绑定到每个Key): |
| ValueState<T> → 单值状态(如计数器) |
| ListState<T> → 列表状态(如最近N条记录) |
| MapState<K,V> → 映射状态(如UV去重) |
| ReducingState<T> → 聚合状态(如实时累加) |
| AggregatingState<IN,OUT> → 自定义聚合 |
| |
| Operator State (绑定到算子): |
| ListState<T> → 如Kafka Source的offset |
| |
| 状态后端(State Backend): |
| HashMapStateBackend → 内存(小状态) |
| EmbeddedRocksDBStateBackend → RocksDB(大状态,生产推荐) |
+------------------------------------------------------------------+
1.4 时间语义
+------------------------------------------------------------------+
| 三种时间语义 |
+------------------------------------------------------------------+
| |
| Event Time → 事件发生的时间(数据自带时间戳) ★生产推荐 |
| |------事件时间窗口------| |
| |
| Ingestion Time → 数据进入Flink的时间 |
| |
| Processing Time → 处理数据的系统时间(最简单但不精确) |
| |------处理时间窗口------| |
| |
| Watermark(水位线): |
| 追踪Event Time进展,解决乱序问题 |
| Watermark(t) = 当前最大事件时间 - 允许延迟 |
| 当Watermark超过窗口结束时间 → 触发窗口计算 |
+------------------------------------------------------------------+
相关页面