| 失效链接处理 |
|
阿里云Flink社区贡献Flink从入门到精通 PDF 下载
本站整理下载：
相关截图：
主要内容：
简介：Flink 的整体架构如图 1 所示。Flink 是可以运行在多种不同的环境中的，
例如，它可以通过单进程多线程的方式直接运行，从而提供调试的能力。它也可以运
行在 Yarn 或者 K8S 这种资源管理系统上面，也可以在各种云环境中执行。
1. 综述
本文主要介绍 Flink Runtime 的作业执行的核心机制。首先介绍 Flink Runtime
的整体架构以及 Job 的基本执行流程，然后介绍在这个过程，Flink 是怎么进行资源
管理、作业调度以及错误恢复的。最后，本文还将简要介绍 Flink Runtime 层当前正
在进行的一些工作。
2. Flink Runtime 整体架构
Flink 的整体架构如图 1 所示。Flink 是可以运行在多种不同的环境中的，例如，
它可以通过单进程多线程的方式直接运行，从而提供调试的能力。它也可以运行在
Yarn 或者 K8S 这种资源管理系统上面，也可以在各种云环境中执行。
Apache Flink 进阶（一）：Runtime 核心机制剖析 < 5
图 1 Flink 的整体架构，其中 Runtime 层对不同的执行环境提供了一套统一的分布式执行引擎
针对不同的执行环境，Flink 提供了一套统一的分布式作业执行引擎，也就是
Flink Runtime 这层。Flink 在 Runtime 层之上提供了 DataStream 和 DataSet 两
套 API，分别用来编写流作业与批作业，以及一组更高级的 API 来简化特定作业的
编写。本文主要介绍 Flink Runtime 层的整体架构。
Flink Runtime 层的主要架构如图 2 所示，它展示了一个 Flink 集群的基本结
构。Flink Runtime 层的整个架构主要是在 FLIP-6 中实现的，整体来说，它采用了
标准 master-slave 的结构，其中左侧白色圈中的部分即是 master，它负责管理整
个集群中的资源和作业；而右侧的两个 TaskExecutor 则是 Slave，负责提供具体的
资源并实际执行作业。
|
| Java1234官方群25： | 
|
| Java1234官方群25： | 838462530 |
苏公网安备 32061202001004号
