失效链接处理 |
Flink技术难点攻破实战 PDF 下载
本站整理下载:
提取码:nko3
相关截图:
主要内容:
其中阿里巴巴实时计算团队共提交 64.5 万行代码,超过总代码量的 60%,做出
了突出的贡献。
在该版本中,Flink 对 SQL 的 DDL 进行了增强,并实现了生产级别的 Batch
支持和 Hive 兼容,其中 TPC-DS 10T 的性能更是达到了 Hive 3.0 的 7 倍之多。
在内核方面,对内存管理进行了优化。在生态方面,增加了 Python UDF 和原生
Kubernetes 集成的支持。后续章节将在这些方面分别进行详细介绍。
内存管理优化
在旧版本的 Flink 中,流处理和批处理的内存配置是割裂的,并且当流式作业配
置使用 RocksDB 存储状态数据时,很难限制其内存使用,从而在容器环境下经常出
现内存超用被杀的情况。
在 1.10.0 中,我们对 Task Executor 的内存模型,尤其是受管理内存(Managed Memory)进行了大幅度的改进(FLIP-49),使得内存配置对用户更加清晰:
6 > 102 万行代码,1270 个问题,Flink 新版发布了什么?
此外,我们还将 RocksDB state backend 使用的内存纳入了托管范畴,同时可
以通过简单的配置来指定其能使用的内存上限和读写缓存比例(FLINK-7289)。如下
图所示,在实际测试当中受控前后的内存使用差别非常明显。
|