| 失效链接处理 |
|
阿里双11互联网技术超级工程 PDF 下载
本站整理下载：
相关截图：
主要内容：
系统进展：机器学习平台和在线预测平台
机器学习平台。搜索训练样本主要来自用户行为，由于用户行为是流式数据，适
合做在线深度学习，但当模型参数非常庞大需要海量的样本时在线学习需要很长的时
间才能收敛，这时一般是先做离线预训练再结合增量或在线学习，另外有些模型离线
预训练后在线只需要对接近输出层的网络做 fine-tuning。搜索在实际应用的有离线
机器学习平台 PAI 和在线机器学习平台 Porsche，两个平台深度学习框架目前都统
一到了 tf-pai， tf-pai 对原生 tf 做了一些优化，比如底层通讯，稀疏参数存储、优化
方法、GPU 显存优化等，比原生 tf 训练深度有较大的提升，训练上千亿样本和上百
亿参数的深度模型毫无压力。
虽然 Porsche 和 PAI 都支持 GPU，但在搜索应用中 CPU 依然是主流，GPU
应用比较少，原因主要是个性化相对图像或语音简单，特征抽取网络比较浅，维度相
对较低，GPU 的稠密矩阵计算能力得不到充分发挥，同时离在线混布后流量低谷期
间腾出了大量的在线服务闲置 CPU，把临时闲置的 CPU 利用起来做深度学习训练
是一个非常好的思路。
在线预估 RTP，搜索排序算分服务。由于每次搜索请求有上千个商品需要计算
排序分数，深度模型应用对 RTP 服务的压力是非常大的，RTP 通过采用异构计算，
4 > 9 年双 11：互联网技术超级工程
计算算子化和模型分片等方式解决了深度模型 inference 计算和存储问题，深度模型
用 GPU，浅层模型用 CPU，今年双 11 期间搜索 RTP 服务用到了 550 张 GPU 卡。
另外，RTP 还实现了离线 / 在线训练模型 / 数据和在线预测服务部署的无缝衔接，算
法训练好的模型或数据可以很轻松的部署都在线服务，提升了算法迭代效率。
算法：智能交互、语义搜索、智能匹配和搜索策略四个方向
智能交互。商品搜索就是带交互的商品推荐，用户通过关键字输入搜索意图，引
擎返回和搜索意图匹配的个性化推荐结果，好的交互技术能够帮助到用户更好的使用
搜索引擎，目前搜索的交互主要是主动关键字输入和关键字推荐，比如搜索框中的默
认查询词和搜索结果中的文字链等，推荐引擎根据用户搜索历史、上下文、行为和状
态推荐关键字。
和商品推荐的区别是，关键字推荐是搜索链路的中间环节，关键字推荐的收益除
了关键字的点击行为外，还需要考虑对整个购物链路的影响，包括在推荐关键字的后
续行为中是否有商品点击、加购和成交或跳转到另外一个关键字的后继行为，这是一
个典型的强化学习问题，action 是推荐的关键字候选集合，状态是用户当前搜索关键
词、上下文等，收益是搜索引导的成交。
除了被动的关键字推荐，我们也在思考搜索中更加主动的交互方式，能够做到像
导购员一样的双向互动，主动询问用户需求，挑选个性化的商品和给出个性化的推荐
理由，目前阿里搜索团队已经在做智能导购和智能内容方向的技术原型及论证，智能
导购在技术上主要是借鉴对话系统，通过引导用户和引擎对话与关键字推荐方式互为
补充，包括自然语言理解，对话策略，对话生成，知识推理、知识问答和商品搜索等
模块，功能主要包括：
a. 根据用户搜索上下文生成引导用户主动交互的文本，比如搜索“奶粉”时，会
生成“您宝宝多大？ 0~6 个月，6 个月到 1 岁….”引导文案，提示用户细化
搜索意图，如果用户输入“3 个月”后，会召回相应段位的奶粉，并在后续
的搜索中会记住对话状态“3 个月”宝宝和提示用户“以下是适合 3 个月宝
宝的奶粉”。
新智能 < 5
b. 知识导购，包含提高售前知识问答或知识提示，比如“3 个月宝宝吃什么奶
粉”回答“1 段”。目前对话技术正在提高中，尤其是在多轮对话状态跟踪、
知识问答和自动评价几个方面，但随着深度学习、强化学习和生成对抗学习
等技术在 NLP、对话策略、阅读理解等领域的应用，越来越多的训练数据和
应用场景，domainspecific 的对话技术未来几年应该会突飞猛进。智能内容
生成，包括生成或辅助人工生成商品和清单的“卖点”，短标题和文本摘要
等，让淘宝商品表达更加个性化和多元化。
语义搜索。语义搜索主要是解决关键字和商品内容之间的语义鸿沟，比如搜索
“2~3 周岁宝宝外套”，如果按照关键字匹配召回结果会远小于实际语义匹配的商品。
|
| Java1234官方群25： | 
|
| Java1234官方群25： | 838462530 |
苏公网安备 32061202001004号
