失效链接处理 |
阿里巴巴-大数据工程师必读手册 PDF 下载
本站整理下载:
相关截图:
主要内容:
原创技术优化 + 系统融合
当阿里巴巴的大数据走过 10 万台规模的时候,我们已经走入到技术的无人区,
这样的挑战绝大多数公司不一定能遇到,但是对于阿里巴巴这样的体量来讲,这个挑
战是一直摆在我们面前的。
大家可以看到,2015 年的时候,我们整个的体系建立起来之后,就开始做各
种各样的 Benchmark,比如 2015 年 100TB 的 Sorting,2016 年我们做 CloudSort,去看性价比,2017 年我们选择了 Bigbench。如图是我们最新发布的数据,在
2017、2018 和 2019 年,每年都有一倍的性能提升,同时我们在 30TB 的规模上比
第二名的产品有一倍的性能增长,并且有一半的成本节省,这是我们的计算力持续上
升的优化趋势。
更多资料关注公号:程序员读书俱乐部
AI 加持的阿里云飞天大数据平台技术揭秘 < 7
那么,计算力持续升级是如何做到的?如图是我们经常用到的系统升级的三角理
论,最底层的计算模型是高效的算子层和存储层,这是非常底层的基础优化,往上面
要找到最优的执行计划,也就是算子组合,再往上是新的方向,即怎么做到动态调整
与自学习的调优。
|