有人问 Q：关于大模型原理的感叹

YanSeven · 2019-2-14 注册 · 1 天前 · 8719 次点击

有时候使用 LLM ，对于其输出，尽管看了一下科普，了解一点什么“本质上是知识压缩”，“预测下一个 token”，“概率”等等。

但是仍然觉得很神奇，大语言模型这个东西在我的感性上，觉得比图像大模型和视频大模型神奇多了。

可能就像“不会数理化，觉得什么都是魔法”一样。我不知道大模型的具体的内部逻辑。

真的是看着它的输出，觉得有点神奇。

我的回答 A：

我倒觉得，大模型的原理是有限神奇。
如果你熟悉 yolo 的模型训练过程，那么，你大概率会认为两者的本质是一样的。
目前大模型能预测下一个 token （所谓的推理能力)。
在我看来，我更倾向于它是十分类似 yolo 的回归拟合。
我认为，推理必须是建立在因果律上的，这个是不能通过预测学来的。
当然，大模型也给了我新的思考。
至少，我之前坚定地认为这个世界是唯物主义的，但大模型动摇并改变了我的这个想法。
即使没有因果，谁说概率模型就不能解决很多问题了呢？

至少，我之前坚定地认为这个世界是唯物主义的，但大模型动摇并改变了我的这个想法。这句话的解释如下：

我的追答 A2：

我原来相信世界是客观存在、独立于意识的，人们探究这个世界是通过因果律来进行的。

大模型的发展让我明白：我们想要接近那个客观世界，也可以通过不断构造对它的描述来实现；因为模型本身并不理解因果，只是依靠统计描述却能逼近“理解”。也就是说，智能可能并不需要完全触及世界的本体，只需要不断改进描述。

我因此开始怀疑，我们探究这个世界，除了使用唯物主义和因果律机制；也可以使用类似大模型的方式，去建立对世界不断迭代的描述体系——这是唯心主义所提倡的。