| 失效链接处理 |
|
如何使用 PEFT库 中 LoRA？ PDF 下载
相关截图：
 主要内容：
三、模型 加入PEFT策略
3.1 模型加载 策略有哪些？
模型加载虽然很简单，这里涉及到2个时间换空间的大模型显存压缩技巧，主要说下load_in_8bit和
prepare_model_for_int8_training。
3.2 模型显存占用的部分有哪些？
这里需要介绍一下 两个模型显存占用的部分：
1. 静态显存基本由模型参数量级决定；
2. 动态显存在向前传播的过程中每个样本的每个神经元都会计算激活值并存储，用于向后传播时的梯度计算，
这部分和batchsize以及参数量级相关；
3.3 模型显存占用 优化策略？
模型显存占用 有以下两种方式：
1. 8bit量化优化。该方式只要用于优化 静态显存；
2. 梯度检查优化。该方式只要用于优化 动态显存；
|
| Java1234官方群25： | 
|
| Java1234官方群25： | 838462530 |
苏公网安备 32061202001004号
