失效链接处理 |
大数据&AI16种可能,阿里云客户最佳实践 PDF 下载
本站整理下载:
相关截图:
主要内容:
11亿条内容,11亿次点赞,两亿次评论。每天有数百万用户活跃在小打卡上,产生TB
级的数据流入数仓。在这样的场景下,数仓承载了哪些服务呢?
目前小打卡数仓主要支持的场景包括BI商业决策,数字化运营、推荐系统、监控
系统等。BI方面,因为DataWorks易用性,结合小打卡业务特点,在复杂决策场景下
提供多维立方体数据,业务人员通过QuickBI自由组合关心的维度、指标。简单场景,
进行基础的sql培训,帮助业务人员自身闭环,基本实现全员取数分析,极大地提升了
工作效率。运营方面,提供分钟级乃至实时的内容审核服务,掐断问题内容过量传播
的风险。推荐方面,实现了对用户行为的完整跟踪。结合阿里云实时计算能力,近期
完成了推荐系统的实时化,做到用户行为秒级反馈,实现了对前端性能错误的全链路
监控,事件级别流量可信度监控,以及核心业务流程的流量波动监控等。在数仓的开
发维护中,依托DataWorks完备的工具,包含运维中心,智能监控、数据质量监控、
数据管理、数据地图等,以极小的代价实现了所有的需求,以个位数的开发人员满足
了500万日活的产品。
小打卡数仓场景简介 2
Big Data & AI Customer Case Set
8
在数仓选型时,我们充分调研了自建数仓和基于阿里云构建数仓的优劣。初期小
打卡数据量不足100g,每日所需的计算资源不足10cu,对数仓的主要诉求是低费用成
本及运维成本,开发敏捷,可扩展性高。于是从费用成本、运维成本、开发效率、灵
活性等方面,做了自建数仓和依托阿里云构建数仓的调研。
费用成本方面,阿里云服务特点是初期线性,后期阶梯,初期数据量小,所需计
算资源小,适合按量付费,且可以使用阿里云提供的共享资源,成本极低。中后期随
着数据量的增加,按量付费的费用上升,可以选用阿里云的计算套餐,购买独享资
源。此后费用阶梯化,不同的数据规模选用不同的计算套餐。自建服务,特点是初期
重、后期线性,在数仓搭建初期就需要一套完整的服务,有大量的资源不是用于业务
计算,费用较高,后期规模上升,需要线性的增长集群规模,费用也线性上升。
运维成本方面,阿里云服务几乎没有运维成本,集群可用性由阿里云保证,不需
要自身投入运维,计算任务由可视化的运维中心,任务自动依赖。此外,阿里云可以
保证数据安全,提供资源管控,数据治理等一系列的运维工具。自建服务,不管是集
群还是任务,都需要较高的运维成本,需要专人持续对集群服务器进行运维,需要使
用开源工具,配置任务依赖。复杂的依赖,开发效率低。此外要保证数据安全,进行
|