Java知识分享网 - 轻松学习从此开始!    

Java知识分享网

Java1234官方群25:java1234官方群17
Java1234官方群25:838462530
        
SpringBoot+SpringSecurity+Vue+ElementPlus权限系统实战课程 震撼发布        

最新Java全栈就业实战课程(免费)

springcloud分布式电商秒杀实战课程

IDEA永久激活

66套java实战课程无套路领取

锋哥开始收Java学员啦!

Python学习路线图

锋哥开始收Java学员啦!
当前位置: 主页 > Java文档 > 大数据云计算 >

Flink技术难点攻破实战 PDF 下载


分享到:
时间:2020-07-27 15:27来源:http://www.java1234.com 作者:小锋  侵权举报
Flink技术难点攻破实战 PDF 下载
失效链接处理
Flink技术难点攻破实战 PDF 下载


本站整理下载:
 
相关截图:
 
主要内容:

其中阿里巴巴实时计算团队共提交 64.5 万行代码,超过总代码量的 60%,做出
了突出的贡献。
在该版本中,Flink 对 SQL 的 DDL 进行了增强,并实现了生产级别的 Batch 
支持和 Hive 兼容,其中 TPC-DS 10T 的性能更是达到了 Hive 3.0 的 7 倍之多。
在内核方面,对内存管理进行了优化。在生态方面,增加了 Python UDF 和原生 
Kubernetes 集成的支持。后续章节将在这些方面分别进行详细介绍。
内存管理优化
在旧版本的 Flink 中,流处理和批处理的内存配置是割裂的,并且当流式作业配
置使用 RocksDB 存储状态数据时,很难限制其内存使用,从而在容器环境下经常出
现内存超用被杀的情况。
在 1.10.0 中,我们对 Task Executor 的内存模型,尤其是受管理内存(Man￾aged Memory)进行了大幅度的改进(FLIP-49),使得内存配置对用户更加清晰:
6  > 102 万行代码,1270 个问题,Flink 新版发布了什么? 
此外,我们还将 RocksDB state backend 使用的内存纳入了托管范畴,同时可
以通过简单的配置来指定其能使用的内存上限和读写缓存比例(FLINK-7289)。如下
图所示,在实际测试当中受控前后的内存使用差别非常明显。

 

------分隔线----------------------------

锋哥公众号


锋哥微信


关注公众号
【Java资料站】
回复 666
获取 
66套java
从菜鸡到大神
项目实战课程

锋哥推荐