工作负载的语义如下：
Flink 算子从同一个 Kafka 主题中读取事件。每个event 需要由一个昂贵的函数f 处理一次，理想情况下，如果不是至少一次。事件之间存在相关性，因此每个事件都应根据累积的state（由初始状态的事件累积）进行处理。
我们如何在 Flink 中为这个用例水平扩展？我想同时处理事件，但所有事件处理都依赖于相同的状态。在我的用例中，状态的大小将首先攀升至 1 TB，然后在 1 TB 左右波动。
【问题讨论】：
标签： apache-flink
如果您的应用程序需要一个可供每个事件访问的集中式数据结构，那么该应用程序将无法水平扩展。
Flink 通过独立处理数据流的分区来实现水平扩展。这通常是通过从每个事件中计算一个键并围绕该键对流进行分区来完成的。对于每个不同的键，状态都是独立维护的，水平缩放的限制是不同键的数量（键空间的大小）。重新缩放是自动处理的，并通过在并行实例之间重新分片一组键来实现。
Flink 也支持 non-keyed state，但基本原理仍然适用：缩放只能通过对流进行分区来实现，并在每个分区内独立维护状态。
【讨论】：
scaling can only be achieved by partitioning the stream, and maintaining state independently within each partition. 谢谢！这是否意味着每个并行实例将读取所有事件，然后有选择地按键处理事件？重新分片在哪里以及如何工作？
keyed partitions are each processing disjoint substreams 这是从消息队列端还是在 flink 端完成的？如果在 flink 端，它是由作业经理或调度员完成的还是在哪里完成的？我似乎没有找到从 AWS SQS 中仅读取选定事件的方法。