| 失效链接处理 |
|
大模型（LLMs）进阶面 PDF 下载
相关截图：
 主要内容：
1. 模型参数量更大，参数量都在Billion级别；
2. 可通过条件或上下文引导，产生生成式的内容（所谓的prompt engineer就是由此而来）。
1. 从训练角度来看：
a. 基于Transformer的模型参数量巨大，有助于模型学习到多样化的语言模式与结构；
b. 各种模型微调技术的出现，例如P-Tuning、Lora，让大模型微调成本更低，也可以让模型在垂直领域
有更强的生成能力；
扫码加
查看更多c. 在训练过程中加入一些设计好的loss，也可以更好地抑制模型生成单调内容；
2. 从推理角度来看：
a. 基于Transformer的模型可以通过引入各种参数与策略，例如temperature，nucleus samlper来改变每
次生成的内容。
三、LLMs 复读机问题
3.1 什么是 LLMs 复读机问题？
LLMs 复读机问题:
1. 字符级别重复，指大模型针对一个字或一个词重复不断的生成
例如在电商翻译场景上，会出现“steckdose steckdose steckdose steckdose steckdose steckdose steckdose
steckdose...”；
1. 语句级别重复，大模型针对一句话重复不断的生成
例如在多模态大模型图片理解上，生成的结果可能会不断重复图片的部分内容，比如“这是一个杯子，这是一个
杯子...”；
1. 章节级别重复，多次相同的prompt输出完全相同或十分近似的内容，没有一点创新性的内容
比如你让大模型给你写一篇关于春天的小作文，结果发现大模型的生成结果千篇一律，甚至近乎一摸一样。
1. 大模型针对不同的prompt也可能会生成类似的内容，且有效信息很少、信息熵偏低
|
| Java1234官方群25： | 
|
| Java1234官方群25： | 838462530 |
苏公网安备 32061202001004号
