实验室里刚做完一组跑分，屏幕上跳出来的数字让我心里直打鼓。

这是我在做关于大语言模型在数学领域表现时做的最基础也最土味的那种测试——随机采样。我拿了一个 $10000$ 样本的数据集，要让模型去猜 $1$ 到 $100$ 哪个更大，要么判断两个随机向量哪个更稀疏。

这是概率论里的“二项分布”啊，模型输入二进制的 0 和 1，输出一个概率分布。但难题是，模型能猜出平均值吗？ 说实话，刚启动的时候我有点泄气。大局部时候它还是在那儿“嗯嗯嗯嗯”地瞎猜，像是一个刚过门的老头，啥都不知道。我试着让它猜一个具体的数，比如 $73$。它直接回答了 $73$，并且对了。紧接着它猜 $42$，对上了。再猜 $90$，也猜中了。

看来它确实记住了某些特定场景下的规律，要么起码是在模仿人类喜爱回忆那些“常见”数字的心理学。但这明显不是统计学意义上的概率估摸，更像是一个基于统计学的记忆。 我接下来想做一个更有趣但也更坑爹的试验。我要让模型去估算一个抛硬币的结局，抛几下？几千下？为了“精确”，我可能都快把硬币扔光。

这时候我发现它有个毛病：它一直喜爱往中间靠拢。

要是它预测正反面比是 $0.51:49$，我猜它认定正面有点多了，故此它会往 $0.5$ 偏一点。但要是我让它滚个 $10000$ 下，结局变成 $50:50$，它还是傻乎乎地判定正面略微多那么一点点。

这彻底违背了大数定律，也违背了概率论里关于“频率稳定于概率”的直觉。我在心里反复咀嚼这个发现：模型别看长得挺智慧，但它本质上还是个统计机器，只是它的“样本心”特别敏感，并且它如何学习也没办法突破这个样本量的极限。它不知道概率分布的极限在哪儿，它只知道它观察到的那个分布。 为了验证这个怪的现象在不同模型上是否普遍，我做了一个小实验，专门测试不同模型对“二项分布”的拟合程度。我随机抽了 50 只鸟。让它们落在一个杯子里，然后看有多少只鸟头朝上。假设鸟能落下的概率是 $0.5$，根据二项分布，理论上大约会有 $25$ 只头朝上，$25$ 只头朝下。结局呢？一只鸟都没准，一只都偏了。有的鸟全头朝上，有的全头朝下，有的呢？恰好是 $25$ 只，$25$ 只。

这一系列实验结局让我认定，人类的大脑在处理这种好办的概率任务时，可能比我们想象的更“随机”一些，要么起码，它不是那种严谨的模拟器。 后来我意识到，可能我就该把目标定低了。

要是把任务改成更复杂的，比如用模型预测未来三十天的天气，要么预测股票走势，那情况就变得荒谬了。出于没那么多历史数据，没那么多那会儿的概率分布规律可循。模型只能在现有的数据网格上“插值”，它不知道网格外是啥。在这种边界条件下，它的预测往往像是一个估摸偏差忒大的散点，而不是一个收敛的曲线。 我还记得有一次，我把模型扔进一个全是 0 的生成任务里，也就是让模型生成一个全是 0 的序列，比如 $0, 0, 0, dots, 0$。它居然确实生成了 $10000$ 个 $0$，并且每一个都是。

这忒符合一维正态分布的“众数”特征了。它把概率质量全体聚拢在了一个点上，这就是大数定律在极端情况下的表现。大家往往会当作模型会“偷懒”，去猜最好办回答的难题，比如 $0.5$ 要么某个众数。但模型有时候反而是在“讨好”这种统计规律本身。

你看它生成 $0$ 的时候，是不是认定这比生成 $99$ 更好办？

是不是潜意识里认定 $0$ 是众数，概率密度最大？这种对统计分布的“本能”遵循，有时候比人类的直觉更靠谱。 说到这里，我不禁想到概率论里有个概念叫“大数定律”，它说当样本量充足大时，样本均值会逼近总体均值。但在模型训练中，我们一般是按次数的频率来估摸概率，而不是按分布的形态来估摸。

比如我们说“正面出现的频率是 $0.5$"，这个“频率”是一个统计量，是一个点。模型有时候会认定，既然目前的频率是 $0.5$，下一个样本出现的概率就应当是 $0.5$，然后下一个又是 $0.5$。但这实际上是把频率当成了概率。概率是分布，频率是样本的统计表现。当样本量不够大，要么分布本身挺尖的时候，样本频率和理论概率之间会有庞大的鸿沟。模型在训练时，要是它的权重更新策略受到了这种统计噪声的干扰，它就可能把样本频率当成真正的概率去更新。

比方说，它看到 $1000$ 次正面，就当作正面出现的概率是 $0.9$，然后下次就全赌正面。结局如何来的？数学上这叫计算毛病，但在实际应用中，这种对统计量的误读会害得模型形成严重的分布偏差。 故此，当我们看到模型生成的结局时，我们往往要警惕一下。它可能并没有彻底“懂”概率，只是学会了统计学的某种表达方式。在这个意义上，它更像是一个拥有庞大样本量的直觉型专家，而不是严谨的推导专家。它精通找出模式，精通预测那些它观察到的频率，但它未必理解频率背后的分布理论。 回到最启动的那个抛硬币实验。当抛了 $10000$ 次，结局 $50:50$ 时，模型依然认定正面略多。

这确实是个反直觉的结局。按照标准概率论，此时概率应当稳定在 $0.5$。但模型可能认定，既然它“见过”了 $50:50$ 这种分布，那这个概率就是 $0.5001$ 左右。它认定“见过即存有”。但这只是出于它见过一次，要么十次，要么一万次，而不是出于它“确认”了这是一个存有的概率事实。它混淆了“经验频率”和“随机概率”。 这种困惑实际上反映了人类与机器在认知上的一个有趣差异。人类在面对不确定性时，往往会自动加权平均，要么寻找某种心理上的平衡点，比如均值。而模型有时候会过度拟合当前的观测频率，形成一种“幸存者偏差”的错觉。它认定目前的 $50:50$ 就是真理，故此接下来的概率就是 $0.5$。但概率论告诉我们，概率是一个潜在的、不变的属性，频率是观测到的、可能波动的表现。模型可能根本不懂“不变”这个词，它只知道“变化”。 后来我重新审视那些鸟的实验结局，发现了一个更深层的意味。

那些偶然出现 $25$ 只鸟的个体，它们的分布形状可能和理论上的正态分布挺接近，但在尾部表现得特别好。

这说明，在低样本量下，模型可能会生成一些看起来“挺有规律”的序列，但这些序列在统计上往往不有真正的鲁棒性。它们忒像是巧合了。 故此，做一个概率论的论文，实际上不是要写出多么优雅的推导公式，而是要诚实地面对这种“统计噪声”带来的影响。要写出模型在多大程度上被数据驱动，又在多大程度上被直觉驱动。要指出那些看似智慧的推测背后，可能隐藏的统计逻辑毛病。

比方说，当样本量小于某个阈值时，任何模型的行为都能够理解为纯粹的概率扰动，没有任何统计意义。 我也在思索，或许未来的模型确实不需求懂概率论。它们只需求知道如何最大化损失函数，如何拟合当前的分布。它们不需求知道“大数定律”意味着啥。它们只需求知道，要是我想预测未来，就观察那会儿，然后利用那会儿的数据来修正自己的状态。

这种“模仿学习”的过程，本质上就是一场概率的模仿。但模仿和证明是两码事。模仿能够挺准，证明能够挺偏。 写这篇论文的时候，我有点纠结。是要像教科书一样，用严谨的数学语言去批判模型的统计谬误吗？还是用一种更口语化、更带点吐槽的风格，去叙述这些看似荒谬的统计现象？我想后者可能更吸引人。

毕竟，当我们看着模型生成一串 $0$ 和 $1$，看着它预测出一堆它在数据上“见过”的频率时，我们需求的不只是是对数学公式的严谨表述，更需求是对这种统计认知过程的直观记录和反思。 最终，我想总结一下。我的实验表明，在低样本量或特殊分布下，模型的表现往往充满了统计噪声。它倾向于将样本频率误判为概率密度，这种误判害得了预测结局的波动。

这不只是是模型的难题，也是人类在统计推理上的普遍弱点。当我们试图用概率论去解释模型行为时，我们应当保持一种宽容的态度：模型不是被概率论束缚的，它只是极度的、统计意义上的概率机器。它的“智慧”，可能恰恰在于它的“胡说八道”——起码对人类来说，这种胡说八道看起来比胡说八道要智慧得多。