← 返回首页 📖 📖 Wiki知识库
📐 学习维度 本篇是 📖 📖 Wiki知识库 🏠 首页 🛤️ 学习路径 📚 全部文章

Flink流计算与实时数据处理实战 - 一、Flink核心概念

本文是 Flink流计算与实时数据处理实战 的分章阅读版。

一、Flink核心概念

1.1 DataStream API核心


+-------------+     +----------+     +----------+     +----------+
|   Source    | --> | Transform| --> | Transform| --> |   Sink   |
| (Kafka/文件)|     | (map)    |     | (window) |     |(Redis/DB)|
+-------------+     +----------+     +----------+     +----------+

核心抽象:
  DataStream<T>     → 无界数据流(实时处理)
  DataSet<T>        → 有界数据集(批处理,已被DataStream统一)
  KeyedStream<T,K>  → 按Key分区后的流
  WindowedStream    → 窗口化后的流

1.2 窗口类型


+------------------------------------------------------------------+
|                        窗口类型                                   |
+------------------------------------------------------------------+
|                                                                   |
|  滚动窗口(Tumbling): 固定大小,不重叠                              |
|  |---5min---|---5min---|---5min---|                               |
|                                                                   |
|  滑动窗口(Sliding): 固定大小,可重叠                               |
|  |---5min---|                                                        |
|      |---5min---|                                                    |
|          |---5min---|                                                |
|  (每1分钟滑动,窗口大小5分钟)                                      |
|                                                                   |
|  会话窗口(Session): 按活跃间隔动态切分                             |
|  |---session1---|   gap   |---session2---|                        |
|  (超过30秒无数据则切分)                                           |
|                                                                   |
|  全局窗口(Global): 所有数据一个窗口,需自定义Trigger               |
|  |-----------all data-----------|                                 |
+------------------------------------------------------------------+

1.3 状态管理


+------------------------------------------------------------------+
|  Flink状态类型                                                    |
+------------------------------------------------------------------+
|                                                                   |
|  Keyed State (绑定到每个Key):                                     |
|    ValueState<T>        → 单值状态(如计数器)                     |
|    ListState<T>         → 列表状态(如最近N条记录)                |
|    MapState<K,V>        → 映射状态(如UV去重)                     |
|    ReducingState<T>     → 聚合状态(如实时累加)                   |
|    AggregatingState<IN,OUT> → 自定义聚合                          |
|                                                                   |
|  Operator State (绑定到算子):                                     |
|    ListState<T>         → 如Kafka Source的offset                 |
|                                                                   |
|  状态后端(State Backend):                                         |
|    HashMapStateBackend  → 内存(小状态)                           |
|    EmbeddedRocksDBStateBackend → RocksDB(大状态,生产推荐)        |
+------------------------------------------------------------------+

1.4 时间语义


+------------------------------------------------------------------+
|  三种时间语义                                                      |
+------------------------------------------------------------------+
|                                                                   |
|  Event Time   → 事件发生的时间(数据自带时间戳) ★生产推荐         |
|                   |------事件时间窗口------|                       |
|                                                                   |
|  Ingestion Time → 数据进入Flink的时间                             |
|                                                                   |
|  Processing Time → 处理数据的系统时间(最简单但不精确)             |
|                   |------处理时间窗口------|                       |
|                                                                   |
|  Watermark(水位线):                                               |
|    追踪Event Time进展,解决乱序问题                                |
|    Watermark(t) = 当前最大事件时间 - 允许延迟                     |
|    当Watermark超过窗口结束时间 → 触发窗口计算                     |
+------------------------------------------------------------------+


相关页面