失效链接处理 |
Flink 学习文档 PDF 下载
本站整理下载:
相关截图:
主要内容:
flink基本概念
1..Flink中的数据
Flink中的数据主要分为两类:
有界数据流(Bounded streams)和无界数据流(Unbounded streams)。
无界流有一个开始但没有定义的结束。它们不会在生成时终止并提供数据。必须持续处理无界流,即必须在摄取事件后立即处理事件。无法等待所有输入数据到达,因为输入是无界的,并且在任何时间点都不会完成。处理无界数据通常要求以特定顺序(例如事件发生的顺序)摄取事件,以便能够推断结果完整性。
有界流具有定义的开始和结束。可以在执行任何计算之前通过摄取所有数据来处理有界流。处理有界流不需要有序摄取,因为可以始终对有界数据集进行排序。有界流的处理也称为批处理。
2. 基础数据类型
Flink支持所有的Java和Scala基础数据类型,Int, Double, Long, String, …
JobManager 相当于整个集群的 Master 节点,且整个集群有且只有一个活跃的 JobManager ,负责整个集群的任务管理和资源管理。
TaskManager 相当于整个集群的 Slave 节点,负责具体的任务执行和对应任务在每个节点上的资源申请和管理。
TaskManager 从 JobManager 接收需要部署的任务,然后使用 Slot 资源启动 Task,
3.编程模型
在Flink,编程模型的抽象层级主要分为以下4种,越往下抽象度越低,编程越复杂,灵活度越高
|