第一个温度: 这是一个取值范围是0-1的值,它主要控制内容生成的随机性。温度越低,接近数字0,AI生成的结果越确定和重复,所以一些精确性的任务你应该设置较低的温度值比如0.1或0.2。反之温度越高,接近数字1,AI生成的结果越随机,所以一些创意性的任务你应该设置较高的温度值比如 0.8 或 0.9。
第二个Top P,这个P就是百分比percent 的首字母。那 TOP P 字面意思就是,排名最前面的百分之xx,这里不得不回顾大模型的生成原理,它是通过预测来选择下一个词的,Top P也就是选择概率加起来达到百分之P的最少选项。假如 Top 等于 0.8 也就是百分之 80,在生成“今天天气”四个字后,接下来的候选词列表可能有很好 30%、不错 25%、棒极了 20%、还行 15%、不好 10%等等,那按概率排序,很好加不错加棒极了加还行累计的概率已经有 90%了,大于 80%,那“今天天气”后面接着的词也就从这 4 个当中选择。也就是说P值小(如0.5):AI 选择的范围就窄,回答就保守。P值大(如0.9):AI 选择范围广,回答就创新。
累计到80%:
🔴 "很好" (30%) → 累计30%
🟡 "不错" (25%) → 累计55%
🟢 "棒极了" (20%) → 累计75%
🔵 "还行" (15%) → 累计90% ✓
前4个选项概率和=90% > 80%
所以从这4个里选择。也就是说
P值小(如0.5):AI 选择的范围就窄,回答就保守
P值大(如0.9):AI 选择范围广,回答就创新
第三是存在惩罚: 它主要是用于减少重复生成同一实体或信息,通过对已经生成的内容施加惩罚,使模型倾向于生成新的或不同的内容。参数值增加时,对于已经生成过的内容,模型在后续生成中被施加更大的惩罚,生成重复内容的可能性越低。
第四是频率惩罚:和存在惩罚是类似的意思,只不过频率惩罚是对过于频繁出现的词或短语施加惩罚,降低这些词的生成概率。随着参数值的增加,对频繁出现的词或短语施加更大的惩罚。较高的参数值会减少这些词的出现频率,从而增加文本的词汇多样性。
第五,“最大标记参数”其实是指模型的上下文长度,我们都知道模型是按照 Token 来当做基本单位的,这个最大标记也就是模型在单次请求中能够考虑和处理的最大Token数量。就像一个 AI 的脑容量,它限制了模型一次能“看到”和“记住”多少信息。所以更长的上下文意味着模型可以处理更长的文档、更复杂的指令、维持更长的对话历史。这也就是为啥你想让 AI 直接帮你看一整厚厚的大书或大文档,它会报错或者截断只读取前百分之多少,因为文本量实在是太大了会超过了这个模型的限制。这一点不同的模型长度当然也不同。比如 GPT4o 最大是4096 个 token,GPT4.1 可以到32K,32768个token。大家可以依据需求来选择和配置哦。