提示工程#

Temperature 温度#

temperature 控制生成文本的随机性或创造性。它定义了选择不太可能的标记的可能性。基本思想是， temperature 为 0 时每次生成相同的响应，因为它总是选择最可能的单词。

top_p#

top_p ，也称为核采样，是一种控制 LLM 可以考虑哪些令牌子集（核）的采样技术。它将考虑令牌，直到达到它们的累积概率。如果我们将 top_p 设置为 0.1，它将考虑令牌直到达到该值。如果我们将 top_p 设置为 1，它将考虑所有令牌。