Java知识分享网 - 轻松学习从此开始!    

Java知识分享网

        
AI编程,程序员挑战年入30~100万高级指南 - 职业规划
SpringBoot+SpringSecurity+Vue权限系统高级实战课程        

IDEA永久激活

Java微信小程序电商实战课程(SpringBoot+VUe)

     

AI人工智能学习大礼包

     

PyCharm永久激活

66套java实战课程无套路领取

     

Cursor+Claude AI编程 1天快速上手视频教程

     
当前位置: 主页 > Java文档 > 人工智能AI >

Transformer面试 DOC 下载


时间:2025-05-30 10:03来源:http://www.java1234.com 作者:转载  侵权举报
Transformer面试
失效链接处理
Transformer面试 DOC 下载 

 
 
相关截图:
 


主要内容:
 

.1.Transformer为何使用多头注意力机制?(为什么不使用一个头)
.2.Transformer为什么Q和K使用不同的权重矩阵生成,为何不能使用同一个值进行自身的点乘? (注意和第一个问题的区别)
.3.Transformer计算attention的时候为何选择点乘而不是加法?两者计算复杂度和效果上有什么区别?
.4.为什么在进行softmax之前需要对attention进行scaled(为什么除以dk的平方根),并使用公式推导进行讲解
.5.在计算attention score的时候如何对padding做mask操作?
.6.为什么在进行多头注意力的时候需要对每个head进行降维?(可以参考上面一个问题)
.7.大概讲一下Transformer的Encoder模块?
.8.为何在获取输入词向量之后需要对矩阵乘以embedding size的开方?意义是什么?
.9.简单介绍一下Transformer的位置编码?有什么意义和优缺点?
.10.你还了解哪些关于位置编码的技术,各自的优缺点是什么?
.11.简单讲一下Transformer中的残差结构以及意义。
.12.为什么transformer块使用LayerNorm而不是BatchNorm?LayerNorm 在Transformer的位置是哪里?



 


------分隔线----------------------------


锋哥推荐