Temperature

一、同一个 Prompt，不同 Temperature = 完全不同的输出

很多人抱怨"AI总是给千篇一律的回答"或者"AI的回答太不稳定了"——问题的根源往往就是 Temperature 设置不当。Temperature 是 Prompt 之外对输出质量影响最大的单一参数。掌握了它，你就掌握了"让 AI 严谨"和"让 AI 创意"之间的切换开关。

二、不同场景需要不同的 Temperature

没有"最好的 Temperature"，只有"最适合当前任务的 Temperature"：写代码 → T=0（要准确不要惊喜）；翻译 → T=0.2（几乎确定性但保留一点自然变体）；对话聊天 → T=0.7（有活力但不离谱）；创意写作 → T=1.0-1.2（更多联想和惊喜）；头脑风暴 → T=1.5（就是要天马行空）。用错误的 Temperature 等于给了错误的指令风格。

三、Temperature 是成本和质量之间的平衡器

高 Temperature 下模型的输出更不可预测，可能需要多轮对话才能得到满意结果（增加 Token 消耗）。低 Temperature 下单次生成的确定性高，但输出可能缺乏创意。理解这个参数，你就能在不同场景下做出最优的成本-质量权衡。

Temperature 在数学上做了什么

LLM 生成每个 Token 时，实际上为词典中所有可能的 Token 计算了一个概率分布（logits）。然后对这个分布应用 Softmax 得到概率，再按概率采样。Temperature 的作用是在 Softmax 之前对所有 logits 除以 T（T 就是 Temperature 值）：

• T → 0：logits / 0.01 → 极大化差异 → 最高概率的 Token 几乎是 100%，其他 Token 几乎是 0% → 确定性输出
• T = 1：logits 不变 → 保持原始概率分布 → 自然的多样性
• T → 2：logits / 2 → 缩小差异 → 原本不太可能的 Token 也变得有可能 → 高随机性

一个直观的例子

模型预测下一个词，原始概率分布：苹果 60%、香蕉 25%、橙子 10%、芒果 4%、榴莲 1%。

• T=0：苹果 99.9% → 几乎永远是苹果
• T=1：苹果 60%、香蕉 25%、橙子 10% → 大多是苹果，偶尔是香蕉
• T=1.5：苹果 35%、香蕉 28%、橙子 20%、芒果 12%、榴莲 5% → 不确定性显著增加

Temperature ≠ Top-p（容易混淆的两个参数）

Temperature 改变的是概率分布的"平坦度"。Top-p（Nucleus Sampling）则是截断低概率 Token——只从累积概率达到 p 的最小 Token 集合中采样。两者常常配合使用：Temperature + Top-p 的组合比单独使用任何一个更灵活。

场景 1：代码生成 → T=0 或接近 0——你需要模型输出正确的、可执行的代码。任何随机性都可能导致 bug。低 Temperature 确保每次给相同的 Prompt 得到相同的代码。

场景 2：客服对话 → T=0.5-0.7——需要一定的确定性（不能乱说），但也需要自然多样性（每次都回答"您好，请问有什么可以帮您？"会让人感觉在和机器对话）。

场景 3：创意写作/头脑风暴 → T=1.0-1.5——你需要想不到的联想和出人意料的角度。高温下的"随机错误"可能恰好是灵感的来源。

误区一：Temperature=0 保证输出永远一致——不完全对。大多数 LLM API 在 T=0 时仍然可能有微小变化（因为浮点精度、GPU 并行计算的非确定性等因素）。要求严格一致建议同时设置 seed 参数。

误区二：Temperature 越高模型越"聪明"——温度不改变模型的知识量或推理能力——只改变采样的随机性。高 Temperature 输出的"创意"是统计噪声带来的随机组合，不是更深的洞察。

误区三：Temperature 只影响创意任务——即使在事实性任务上，不恰当的 Temperature 也可能导致模型"知道正确答案却选了错误的"——因为高 Temperature 给了错误答案不合理的高概率。

Temperature 这个概念源于统计物理学中的玻尔兹曼分布（Boltzmann Distribution）。在机器学习中，它最早用于知识蒸馏（2015年Hinton等人的Distilling the Knowledge in a Neural Network），通过提高Softmax的Temperature来"软化"教师模型的输出。在LLM时代，Temperature成为推理采样的标准参数之一，与Top-p、Top-k等采样策略共同构成可控文本生成的基础。

故事一："灵魂 Temperature"——AI 社区的内部争论

2023年，AI社区里流传一个关于"灵魂Temperature"的讨论。有人声称Claude的"灵魂Temperature"是0.7——在这个值下，Claude的回复最有活力、最有"人格"，太低变得像机器，太高变得像疯子。虽然这不是一个科学结论，但它反映了一个真实的现象：Temperature确实显著影响人类对AI"有个性"的感知。很多AI产品团队花大量时间在"调T值"上，只为了找到那个让AI"感觉对了"的魔法数字。

故事二：为什么一些企业级 AI 产品把 Temperature 锁死？

很多面向企业的 AI 产品（如 AI 客服、AI 法律助手）不允许用户修改 Temperature。原因不是技术限制，而是风险管理——高 Temperature 的输出如果出现在客户合同中或医疗建议中，可能造成严重后果。这反映了一个深层矛盾：AI 的创意能力和安全可靠之间天然存在张力。Temperature 就是这个张力的直接体现。