失效链接处理 |
Spark在360的实践及经验分享-李远策 PDF 下载
本站整理下载:
相关截图:
主要内容:
MLLib
• 算法:LDA、LR、FP-Growth、ALS、KMeans、随机
深林等。
• 业务:新闻主题分类、新闻推荐、APP推荐、恶意
代码识别、恶意域名检测等。
GraphX
• 算法:PageRank、Louvain、LPA、连通子图等。
• 业务:搜索PageValue、网站安全监测等。
SparkSQL
• 采用HiveContext替换公司90%以上的Hive作业,每
天例行1.5W+作业。
• 每个Hive SQL平均3轮MR作业,平均性能提升2~5倍。
|