皮皮网

1.Flink-时间窗口-Windows
2.透过窗口观无限数据流——Flink的Window全面解析
3.0基础学习PyFlink——个数滑动窗口（Sliding Count Windows）
4.Flink 核心理论-Windows
5.Flink实战之CountWindowr的滚动窗口、滑动窗口WindowsAPI使用示例
6.Flink 中极其重要的 Time 与 Window 详细解析(深度好文，建议收藏)

Flink-时间窗口-Windows

       时间窗口是流式计算中用于处理数据流的一种方式。它将不断生成的数据拆分为有限的桶或窗口，对每个窗口执行聚合操作，从而得到特定时间范围内的caffe源码反向传播统计结果。例如统计过去5分钟内某基站的呼叫次数。数据在不断产生，但通过固定窗口大小，可以对这段时间内的数据执行聚合操作。

       在流式计算中，时间窗口分为基于键的窗口和无键窗口。基于键的窗口使用.keyBy方法将数据与键关联，然后使用.windows方法分配到相应的窗口中。触发器、允许延迟时间和侧输出等参数用于控制窗口行为。基于键的窗口API包括.reduce、aggregate、fold、apply等方法，用于聚合数据，以及getSideOutput方法获取侧输出数据。

       无键窗口使用Non-Keyed Window API，适用于不需要键的数据流。它们基于时间或数量进行窗口划分。

       窗口分配器负责将数据分配到适当的窗口中。时间窗口类型包括滚动窗口、滑动窗口和会话窗口。滚动窗口每次产生新的窗口，滑动窗口则允许数据在窗口间重叠。会话窗口将活跃数据聚合成窗口进行计算，基于Session Gap触发。

       在流式计算中，滚动窗口用于按固定大小切割数据，窗口之间不重叠。例如，源码小程序导入每5秒创建一个新窗口，统计基站的日志数量。滑动窗口允许数据在窗口间重叠，窗口大小固定，通过滑动时间向前移动。会话窗口根据活跃度划分数据，基于Session Gap触发计算。

       为了实现这些窗口类型，需要设置窗口分配器。例如，滚动窗口可以按时间间隔划分数据，滑动窗口在指定滑动时间后生成新窗口，会话窗口基于活跃数据划分窗口。这些窗口类型适用于不同的应用场景，如统计、监控和实时分析。

透过窗口观无限数据流——Flink的Window全面解析

       窗口是流式计算中关键的算子之一，用于将无限数据流切分为有限大小的“桶”或窗口。在每个窗口内应用计算函数，实现灵活的数据处理。Flink提供了丰富的窗口操作，并支持用户根据特定场景自定义窗口。本文深入探讨窗口的概念、实现方式、窗口函数、生命周期和组件，以便更全面地理解Flink窗口机制。

       窗口基础

       窗口将数据流划分为固定大小的时段，允许在每个时段内进行聚合或分析。通过使用窗口，Flink能够在特定时间范围内对数据进行处理，如统计过去一小时内用户行为、计算每分钟的平均值等。

       窗口类型

       窗口分为Keyed Windows和Non-Keyed Windows。Keyed Windows基于键值对进行操作，仿点点租源码适合有特定分组需求的数据流。Non-Keyed Windows适用于未分组数据流，但通常不推荐使用，因其可能导致性能问题。

       如何使用窗口

       通过调用Flink API中的window方法，可以应用各种窗口类型。例如，使用windowAll方法实现Non-Keyed Windows，而window方法则用于Keyed Windows。代码示例展示了如何定义窗口大小、时间单位，并使用不同的窗口类型。

       窗口分配器

       窗口分配器（WindowAssigner）决定数据如何被分配到窗口。Flink提供了多种内置分配器，如时间窗口、滑动窗口、会话窗口和全局窗口，满足不同场景需求。分配器创建窗口并管理元素的归属，确保数据在正确的时间窗口中聚合。

       窗口函数

       Flink的窗口函数分为增量聚合函数和全量窗口函数。增量聚合函数在数据进入窗口时即进行聚合，效率较高。全量窗口函数则在窗口触发时遍历所有数据进行聚合，适用于需要完整数据集进行计算的场景。ProcessWindowFunction结合了两者优势，支持更复杂的聚合逻辑。

       窗口生命周期

       窗口从创建、数据聚合、触发计算到清除，经历多个阶段。分配器分配数据到窗口，触发器根据时间或数据条件决定何时执行计算。窗口结束后，结果被输出，httprunner详细源码学习同时可能清除窗口内容。生命周期管理确保计算在适当时间执行，避免资源浪费。

       组件分析

       触发器（Trigger）决定窗口何时触发计算，清除器（Evictor）处理窗口数据的清除。这些组件共同作用，确保Flink窗口机制的高效运行。通过分析源码，可以深入了解Flink如何实现窗口的创建、数据分配、聚合、触发和清理。

       本文综述了Flink窗口机制的核心概念、实现方法和组件细节，为流式计算中的窗口操作提供了全面的指导。通过深入理解窗口机制，开发者可以更高效地处理大规模、实时数据流，实现复杂的数据分析任务。

0基础学习PyFlink——个数滑动窗口（Sliding Count Windows）

       在学习PyFlink的过程中，我们探讨了滚动窗口的概念。本节，我们将深入探索滑动窗口（Sliding Count Windows）的概念与实现。

       滑动窗口与滚动窗口的区别在于，滑动窗口沿着数据流以固定步长进行移动。而滚动窗口则是一次性包含所有数据，直到满足特定条件才触发计算。它们的共同点是，在窗口内的数据量达到设定值时才进行计算。

       让我们通过一个例子来直观理解滑动窗口的概念。假设我们对数据流中的元素进行计数，滑动窗口可以按照指定步长逐个移动，计算窗口内的元素数量。通过修改已有的代码，我们仅需关注具有相同Key的龙武2源码元素，比如Key为E的元素。

       以窗口大小为2，滑动距离为1为例，我们可以创建滑动窗口（CountSlidingWindowAssigner）。只需将窗口函数的第二个参数设置为非零值，就能实现滑动效果。这样，窗口会依次覆盖数据流中的数据，计算窗口内元素数量。

       对于窗口大小为3，滑动距离为1的场景，窗口会按照每单位数据进行滑动，计算窗口内元素的累计计数。当窗口滑动到下一个位置时，它会丢弃前一个位置的数据，加入新的数据进行计算。

       当滑动距离等于窗口大小时，滑动窗口的行为等同于滚动窗口。因为窗口已经“滑”过自身大小，无法再捕获新数据，这类似于滚动窗口的特性。

       通过这样的实例，我们可以看到滑动窗口和滚动窗口在处理数据流时的不同策略。滑动窗口更适用于需要实时响应数据变化的场景，而滚动窗口则适用于数据聚合和统计分析，特别是当数据量巨大时。

Flink 核心理论-Windows

       在处理无限数据流时，windows 是核心概念，它将数据流划分成有限大小的桶（bucket）进行计算。

       在定义窗口前，要明确是否需要对数据进行分组。使用 keyby() 可将数据分割成逻辑分组，反之则不会分组。

       在分组流中，任何事件属性都可作为分组依据，允许并行处理每个分组，元素依据相同键被发送至相同并行任务。

       无分组流则不会分组，窗口计算在单个任务内完成，使用 windowall() 替代 window() 方法。

       窗口计算逻辑由触发器与函数关联，包括 count-window、time-window 等类型，触发器决定何时执行函数。

       窗口有四种基本类型：tumbling-window（无重叠数据）、sliding-window（有重叠数据）、count-window（无重叠数据）和 count-sliding-window（有重叠数据）。

       时间窗口可分为 tumbling time window（翻滚时间窗口）和 sliding time window（滑动时间窗口）。翻滚窗口按时间划分，不重叠；滑动窗口在相同窗口长度下，触发计算更频繁。

       计数窗口（tumbling count window）按元素数量划分，窗口填满即计算。

       会话窗口（session window）聚合用户活动数据，通过间隙区分会话。

       在 Flink 中，DataStream API 提供窗口操作算子，支持自定义窗口逻辑。使用窗口功能可满足不同数据处理需求。

Flink实战之CountWindowr的滚动窗口、滑动窗口WindowsAPI使用示例

       Flink的窗口机制是数据流处理中一种核心概念，它允许系统对数据流进行分组、聚合和处理。窗口可以大致分为两类：CountWindow和TimeWindow。

       CountWindow是一种基于数据条数的窗口，与时间无关，而TimeWindow则基于时间生成窗口。TimeWindow又可以进一步细分为滚动窗口（Tumbling Window）、滑动窗口（Sliding Window）和会话窗口（Session Window）。

       本文主要介绍CountWindow的两种类型：滚动窗口（Tumbling Window）和滑动窗口（Sliding Window），并提供相应的代码示例。

       CountWindow 是根据窗口中相同 key 元素的数量来触发执行的，执行时计算元素数量达到窗口大小的 key 对应的结果。窗口大小是指相同 Key 的元素数量，而非输入元素总数。

       ### CountWindow 的滚动窗口使用示例

       默认的 CountWindow 是滚动窗口，只需指定窗口大小即可。当输入某一个 key 的统计数达到预设值时，就会触发窗口执行。

       **示例**：进行分组聚合（keyBy），当输入某一 key 的统计数达到 5 时，输出结果。

       **代码示例**：使用终端命令 nc -lk 输入数据，查看效果。

       ### CountWindow 的滑动窗口使用示例

       滑动窗口与滚动窗口在函数名上一致，但传参时需指定两个参数：窗口大小（window_size）和滑动大小（sliding_size）。

       **示例**：代码中的 sliding_size 设为 2，每收到两个相同 key 的数据即计算一次。计算的窗口范围为最近输入的 5 个元素。每当某 key 的个数达到 2 时，触发计算，计算最近 个输入 key 的统计。

       **代码示例**：终端命令 nc -lk 输入数据，查看效果，输入 次 "hello"，每遇到前后输入有 2 次 "hello" 即计算一次，计算范围为最近 次有 "hello" 输入的统计。

       本文仅提供对 Flink 窗口机制的简要介绍及示例，后续将撰写更多关于 Flink Table API 和 SQL 的实战应用文章。欢迎关注，共同进步。

       如果觉得文章对您有帮助，请关注微信公众号：“大数据技术天涯”。

       持续分享 Java 微服务、大数据、人工智能等领域的原创文章。

Flink 中极其重要的 Time 与 Window 详细解析(深度好文，建议收藏)

       Flink作为实时流处理引擎，其核心概念围绕流式和实时计算展开。其中，时间(Time)与窗口(Window)是不可或缺的部分，它们决定了数据处理的边界和时序逻辑。

       Time与Window详解

       Flink中的时间分为三种类型，处理流式数据时，事件时间(eventTime)尤为重要。通过Window，无限数据流被划分成有限的处理块，如滚动窗口、滑动窗口和会话窗口，分别对应固定时间长度和数据量划分边界。

       滚动窗口：固定时间长度，无重叠，适用于统计每个时间段的聚合。

       滑动窗口：固定时间长度，有重叠，适用于近段时间内统计。

       会话窗口：基于事件活动时间，无固定长度和开始时间，适用于会话行为的分析。

       例如，计算每秒内汽车通过红绿灯的数量，Flink可能使用TimeWindow，数据发送方通过nc模拟，Flink使用Processing Time处理默认数据。

       CountWindow与Apply

       CountWindow基于窗口内相同key的数量触发计算，而Apply则允许自定义处理，适用于复杂计算，如单词统计。

       Watermark与EventTime

       <Flink处理乱序数据时引入了Watermark，它结合EventTime和Window确保数据在特定时间触发处理，即便存在网络延迟和乱序。允许的迟到时间可通过allowedLateness设置，迟到数据会被保存和获取以进行后期处理。

flink窗口的种类及详述

       1. 滚动窗口（Tumbling Window）: 将事件分配到长度固定且互不重叠的桶中。

        实际案例：简单且常见的分维度分钟级别同时在线用户数、总销售额。

        Java设置语句：window(TumblingProcessingTimeWindows.of(Time.seconds(5)))

        该语句为设置滚动窗口的窗口时长为5秒钟。

        SQL设置语句：FROM TABLE(TUMBLE(TABLE source_table, DESCRIPTOR(row_time), INTERVAL '' SECOND))

       2. 滑动窗口（Sliding Window）: 分配器将每个元素分配到固定窗口大小的窗口。与滚动窗口分配器类似，窗口的大小由window size参数配置。还有一个window slide参数用来控制滑动窗口的滑动大小。因此，如果滑动大小小于窗口大小，则滑动窗口会重叠。在这种情况下，一个元素会被分配到多个窗口中。

        实际案例：简单且常见的分维度分钟级别同时在线用户数，1分钟输出一次，计算最近5分钟的数据。

        Java设置语句：window(SlidingProcessingTimeWindows.of(Time.seconds(), Time.seconds(5)))

        window size：窗口大小为秒钟

        window slide：窗口间隔为5秒钟

        SQL设置语句：HOP(row_time, INTERVAL '1' MINUTE, INTERVAL '5' MINUTE)

       3. 会话窗口（Session Window）: 分配器通过活动会话对元素进行分组。与滚动窗口和滑动窗口相比，会话窗口不会重叠，也没有固定的开始和结束时间。当会话窗口在一段时间内没有接收到元素时会关闭。会话窗口分配器需要配置一个会话间隙，定义了所需的不活动时长。当此时间段到期时，当前会话关闭，后续元素被分配到新的会话窗口。

        实际案例：计算每个用户在活跃期间（一个Session）总共购买的商品数量，如果用户5分钟没有活动则视为Session断开。

        设置语句：基于事件时间的会话窗口window(EventTimeSessionWindows.withGap(Time.minutes()))

        基于处理时间的会话窗口Java设置：window(ProcessingTimeSessionWindows.withGap(Time.minutes()))

        会话间隙，不活动时长为秒钟

        SQL设置：SESSION(row_time, INTERVAL '5' MINUTE)

       4. 渐进式窗口（Incremental Window）: 其实就是固定窗口间隔内提前触发的滚动窗口，其实就是Tumble Window + early-fire的一个事件时间的版本。例如，从每日零点到当前这一分钟绘制累积UV，其中:时的UV表示从:到:的UV总数。渐进式窗口可以认为是首先开一个最大窗口大小的滚动窗口，然后根据用户设置的触发的时间间隔将这个滚动窗口拆分为多个窗口，这些窗口具有相同的窗口起点和不同的窗口终点。

        应用场景：周期内累计PV，UV指标（如每天累计到当前这一分钟的PV，UV）。这类指标是一段周期内的累计状态，对分析师来说更具统计分析价值，而且几乎所有的复合指标都是基于此类指标的统计（不然离线为啥都要累计一天的数据，而不要一分钟累计的数据呢）。

        实际案例：每天的截止当前分钟的累计money（sum(money)），去重id数（count(distinct id)）。每天代表渐进式窗口大小为1天，分钟代表渐进式窗口移动步长为分钟级别。

        SQL设置：FROM TABLE(CUMULATE(TABLE source_table, DESCRIPTOR(row_time), INTERVAL '' SECOND, INTERVAL '1' DAY))

       5. 全局窗口（Global Window）: 分配器将具有相同key的所有元素分配给同一个全局窗口。仅当我们指定自定义触发器时，窗口才起作用。否则，不会执行任何计算，因为全局窗口没有我们可以处理聚合元素的自然结束的点。

        平时滑动窗口用得比较多，其次是滚动窗口。