麻省理工重磅论文人工智能是另一个有自立时空的世界？

发布时间：2023-10-12 10:00:08 所属栏目：外闻来源：转载

导读： 　　当下，得益于AI技术突飞猛进，还有巨型语言模型的崛起——这是最近才有所发现的、极富激励意义的创新成就之一——在这一行业里，我们看到了很多非常有趣且有吸引力

　　当下，得益于AI技术突飞猛进，还有巨型语言模型的崛起——这是最近才有所发现的、极富激励意义的创新成就之一——在这一行业里，我们看到了很多非常有趣且有吸引力的新进展。然而，一个引人瞩目的问题一直困扰着研究者和科学家们：到底人工智能模型是否仅仅是机械的统计工具，还是它们在虚构的世界中构建了一个独立的时空，就像科幻小说中的人工智能所展示的那样？如果结果是后者，说明我们的世界非常有可能被造物主控制着。

　　为了了解这一真相，在最近的一篇重要论文中，麻省理工学院（MIT）的研究人员已经开始解答这个激动人心的问题。他们的研究成果希望改变人们对人工智能的认知，揭示出一种令人惊奇的可能性——人工智能模型可能正在构建一个拥有独立时空的世界。事实真的是这样的吗？

　　首先，让我们了解一下这项研究的基本方法。研究人员 Wes Gurnee 和 Max Tegmark 的研究目标是检验这项人工智能技术：LLMs是否具备对地理坐标和历史年代等信息的记忆能力。为了实现这一目标，他们设计了一系列任务，要求LLMs根据城市的名称返回相应的GPS坐标，或者根据历史人物的名字返回他们的生活年代。

　　这一研究方法的核心思想是，通过引入线性层，将LLMs的中间特征与所需的输出信息（例如GPS坐标或年代）联系在一起。通过训练这个线性层，研究人员可以评估LLMs是否已经记住了这些信息。这种方法不仅有助于检测LLMs的记忆能力，还可以帮助研究人员了解LLMs从哪个层级开始具备地理信息的记忆能力。

　　研究城市名称和GPS坐标之间的动态映射关系纯粹是一种非理性的记忆任务，不涉及对这个世界的深刻理解或进行复杂的逻辑推理。这与“世界模型”的核心理念相去甚远，因为“世界模型”旨在使机器能够对环境、实体和事件进行更高级别的理解，并基于这种理解进行预测和模拟。

　　这项研究使用了高质量的维基百科数据作为主要数据源。需要注意的是，维基百科数据本身就是LLMs训练的一部分，因此在某种程度上可以说这些数据与LLMs的训练数据高度一致。此外，研究人员特意选择了那些在维基百科中具有高流量的实体，这意味着这些实体在训练数据中更频繁地出现。这种做法可能导致LLMs更容易记住这些信息，但不应被解释为LLMs已经具备了深刻的世界模型。事实上，这只是在特定记忆任务上的性能，而不是对整个世界的全面理解。

　　此外，神经网络的记忆能力早在过去就已经被广泛研究。有研究表明，神经网络的泛化能力很大程度上源自其记忆能力。因此，LLMs之所以能够记住城市的GPS坐标或历史人物的年代，并不足为奇，因为神经网络在某种程度上天生具备记忆能力。

　　所以说，这篇文章虽然提供了有关LLMs在特定记忆任务中的表现的信息，但它与“世界模型”的讨论关系不大。要真正理解LLMs是否具备世界模型，需要进行更广泛、更复杂的研究，涉及对环境的深刻理解、对未来事件的预测能力以及对因果关系的理解。因此，我们应该对这项研究的结果进行审慎解读，不要过分解读其与世界模型相关的意义。这项研究发现，人们对于自己的认知水平的评估是基于他们对自己的期望值，而不是基于他们的实际情况。

（编辑：晋中站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!