下一词预测

通俗解释

大语言模型表面上在回答问题,底层目标是根据上下文最大化下一个 token 的概率。这个目标简单、可扩展,迫使模型学习语法、事实关联和部分推理模式。但它也解释了模型的局限:它优化的是“像训练数据一样接下去”,不是“事实正确”或“逻辑必然”。幻觉、过度自信和迎合用户,都可以从这个目标与数据分布中找到部分原因。