失效链接处理 |
从零开始大模型开发与微调:基于PyTorch与ChatGLM 王晓华 PDF 下载
下载地址:
版权归出版社和原作者所有,链接已删除,请购买正版
用户下载说明:
电子版仅供预览,下载后24小时内务必删除,支持正版,喜欢的请购买正版书籍:
https://product.dangdang.com/11711192007.html
相关截图: ![]() 资料内容: 大模型是深度学习自然语言处理上的一颗明珠,也是当前AI和NLP研究与产业中重要的方向之一。本书使用PyTorch 2.0作为学模型的基本框架,以ChatGLM为例详细讲解大模型的基本理论、算法、程序实现、应用实战以及微调技术,为读者揭示大模型开发技术。 资料目录: 章新时代的曙光—人工智能与大模型1 1.1人工智能:思维与实践的融合1 1.1.1人工智能的历史与未来2 1..深度学习与人工智能2 1.1.3选择PyTorch2.0实战框架3 .大模型开启人工智能的新时代4 ..大模型带来的变革4 ..不错的中文大模型—清华大学ChatGLM介绍5 ..近在咫尺的未来—大模型的应用前景6 1.3本章小结7 第2章PyTorch2.0深度学习环境搭建8 2.1环境搭建1:安装Python8 2.1.1Miniconda的下载与安装8 2..PyCharm的下载与安装11 2.1.3Python代码练:计算Softmax函数14 2.2环境搭建2:安装PyTorch2.015 2.2.1Nvidia10/20/30/40系列显卡选择的GPU版本15 2.2.2PyTorch2.0GPUNvidia运行库的安装15 2.2.3PyTorch2.0练:HelloPyTorch18 2.3生成式模型实战:古诗词的生成18 2.4图像降噪:手把手实战个深度学习模型19 2.4.1MNIST数据集的准备19 2.4.2MNIST数据集的特征和标签介绍21 2.4.3模型的准备和介绍22 2.4.4对目标的逼近—模型的损失函数与优化函数24 2.4.5基于深度学习的模型训练24 2.5本章小结26 第3章从零开始学习PyTorch2.027 3.1实战MNIST手写体识别27 3.1.1数据图像的获取与标签的说明27 3..实战基于PyTorch2.0的手写体识别模型29 3.1.3基于Netron库的PyTorch2.0模型可视化32 3.2自定义神经网络框架的基本设计34 3.2.1神经网络框架的抽象实现34 3.2.2自定义神经网络框架的具体实现35 3.3本章小结43 第4章一学就会的深度学习基础算法详解44 4.1反向传播神经网络的前身历史44 4.2反向传播神经网络两个基础算法详解47 4.2.1二乘法详解48 4.2.2梯度下降算法50 4.2.3二乘法的梯度下降算法及其Python实现52 4.3反馈神经网络反向传播算法介绍58 4.3.1深度学习基础58 4.3.2链式求导法则59 4.3.3反馈神经网络的原理与公式推导60 4.3.4反馈神经网络原理的激活函数64 4.3.5反馈神经网络原理的Python实现66 4.4本章小结70 第5章基于PyTorch卷积层的MNIST分类实战71 5.1卷积运算的基本概念71 5.1.1基本卷积运算示例72 5..PyTorch中的卷积函数实现详解73 5.1.3池化运算75 5.1.4Softmax激活函数77 5.1.5卷积神经网络的原理78 5.2实战:基于卷积的MNIST手写体分类80 5.2.1数据的准备80 5.2.2模型的设计81 5.2.3基于卷积的MNIST分类模型82 5.3PyTorch的深度可分离膨胀卷积详解84 5.3.1深度可分离卷积的定义84 5.3.2深度的定义以及不同计算层待训练参数的比较86 5.3.3膨胀卷积详解87 5.3.4实战:基于深度可分离膨胀卷积的MNIST手写体识别87 5.4本章小结90 第6章可视化的PyTorch数据处理与模型展示91 6.1用于自定义数据集的torch.utils.data工具箱使用详解92 6.1.1使用torch.utils.data.Dataset封装自定义数据集92 6..改变数据类型的Dataset类中的transform的使用93 6.1.3批量输出数据的DataLoader类详解98 6.2实战:基于tensorboardX的训练可视化展示100 6.2.1可视化组件tensorboardX的简介与安装100 6.2.2tensorboardX可视化组件的使用100 6.2.3tensorboardX对模型训练过程的展示103 6.3本章小结105 第7章ResNet实战106 7.1ResNet基础原理与程序设计基础106 7.1.1ResNet诞生的背景107 7..PyTorch2.0中的模块工具109 7.1.3ResNet残差模块的实现110 7.1.4ResNet网络的实现1 7.2ResNet实战:CIFAR-10数据集分类114 7.2.1CIFAR-10数据集简介114 7.2.2基于ResNet的CIFAR-10数据集分类117 7.3本章小结118 第8章有趣的词嵌入 8.1文本数据处理 8.1.1Ag_news数据集介绍和数据清洗 8..停用词的使用 8.1.3词向量训练模型Word2Vec使用介绍5 8.1.4文本主题的提取:基于TF-F8 8.1.5文本主题的提取:基于TextRank132 8.2更多的词嵌入方法—FastText和预训练词向量134 8.2.1FastText的原理与基础算法135 8.2.2FastText训练及其与PyTorch2.0的协同使用136 8.2.3使用预训练参数来生成PyTorch2.0词嵌入矩阵(中文)140 8.3针对文本的卷积神经网络模型简介—字符卷积141 8.3.1字符(非单词)文本的处理141 8.3.2卷积神经网络文本分类模型的实现—Conv1d(一维卷积)148 8.4针对文本的卷积神经网络模型简介—词卷积151 8.4.1单词的文本处理151 8.4.2卷积神经网络文本分类模型的实现—Conv2d(二维卷积)153 8.5使用卷积对文本分类的补充内容155 8.5.1汉字的文本处理155 8.5.2细节157 8.6本章小结158 第9章基于循环神经网络的中文情感分类实战160 9.1实战:循环神经网络与情感分类160 9.2循环神经网络理论讲解165 9.2.1什么是GRU165 9.2.2单向不行,那就双向167 9.3本章小结168 0章从零开始学习自然语言处理的编码器169 10.1编码器的核心—注意力模型170 10.1.1输入层—初始词向量层和位置编码器层170 10..自注意力层172 10.1.3ticks和LayerNormalization177 10.1.4多头注意力178 10.2编码器的实现180 10.2.1前馈层的实现181 10.2.2编码器的实现182 10.3实战编码器:拼音汉字转化模型184 10.3.1汉字拼音数据集处理185 10.3.2汉字拼音转化模型的确定187 10.3.3模型训练部分的编写190 10.4本章小结191 1章站在巨人肩膀上的预训练模型BERT193 11.1预训练模型BERT193 11.1.1BERT的基本架构与应用194 11..BERT预训练任务与微调195 1.实战BERT:中文文本分类198 1..使用HuggingFace获取BERT预训练模型198 1..BERT实战文本分类200 11.3更多的预训练模型203 11.4本章小结205 2章从1开始自然语言处理的解码器206 .解码器的核心—注意力模型206 ..1解码器的输入和交互注意力层的掩码207 ..2为什么通过掩码操作能够减少干扰2 ..3解码器的输出(移位训练方法)213 ..4解码器的实现214 .解码器实战—拼音汉字翻译模型215 .1数据集的获取与处理216 .翻译模型218 .3拼音汉字模型的训练229 .4拼音汉字模型的使用230 .本章小结231 3章基于PyTorch2.0的强化学习实战232 13.1基于强化学习的回收实战232 13.1.1回收基本运行环境介绍233 13..回收参数介绍234 13.1.3基于强化学习的回收实战234 13.1.4强化学习的基本内容239 13.2强化学习的基本算法—PPO算法243 13.2.1PPO算法简介243 13.2.2函数使用说明244 13.2.3一学就会的TD-error理论介绍245 13.2.4基于TD-error的结果修正247 13.2.5对于奖励的倒序构成的说明248 13.3本章小结249 4章ChatGPT前身—只具有解码器的GPT-2模型250 14.1GPT-2模型简介250 14.1.1GPT-2模型的输入和输出结构—自回归251 14..GPT-2模型的PyTorch实现252 14.1.3GPT-2模型输入输出格式的实现257 14.2HuggingFaceGPT-2模型源码模型详解259 14.2.1GPT2LMHeadModel类和GPT2Model类详解259 14.2.2Block类详解270 14.2.3Attention类详解274 14.2.4MLP类详解281 14.3HuggingFaceGPT-2模型的使用与自定义微调282 14.3.1模型的使用与自定义数据集的微调282 14.3.2基于预训练模型的评论描述微调285 14.4自定义模型的输出286 14.4.1GPT输出的结构286 14.4.2创造参数temperature与采样个数topK288 14.5本章小结290 5章实战训练自己的ChatGPT291 15.1什么是ChatGPT291 15.2RLHF模型简介293 15.2.1RLHF技术分解293 15.2.2RLHF中的具体实现—PPO算法296 15.3基于RLHF实战的ChatGPT正向评论的生成297 15.3.1RLHF模型进化的总体讲解297 15.3.2ChatGPT评分模块简介298 15.3.3带有评分函数的ChatGPT模型的构建300 15.3.4RLHF中的PPO算法—KL散度301 15.3.5RLHF中的PPO算法—损失函数303 15.4本章小结304 6章开源大模型ChatGLM使用详解305 16.1为什么要使用大模型305 16.1.1大模型与普通模型的区别306 16..一个的现象—大模型的涌现能力307 16.2ChatGLM使用详解307 16.2.1ChatGLM简介及应用前景308 16.2.2下载ChatGLM309 16.2.3ChatGLM的使用与Prompt介绍310 16.3本章小结311 7章开源大模型ChatGLM高级定制化应用实战3 17.1医疗问答GLMABot搭建实战—基于ChatGLM搭建专业客服问答机器人3 17.1.1基于ChatGLM搭建专业领域问答机器人的思路313 17..基于真实医疗问答的数据准备314 17.1.3文本相关(似度)的比较算法315 17.1.4提示语句Prompt的构建316 17.1.5基于单个文档的GLMABot的搭建316 17.2金融信息抽取实战—基于知识链的ChatGLM本地化知识库检索与智能生成318 17.2.1基于ChatGLM搭建智能生成机器人的思路319 17.2.2获取专业(范畴内)文档与编码存储320 17.2.3查询文本编码的相关比较与排序322 17.2.4基于知识链的ChatGLM本地化知识库检索与智能生成325 17.3基于ChatGLM的一些补充内容327 17.3.1语言的艺术—Prompt的前世今生328 17.3.2清华大学的ChatGLM微调方法329 17.3.2一种新的基于ChatGLM的文本检索方案330 17.4本章小结331 |