2020 年了，深度学习接下来到底该怎么走?

随机投影和上限保留相似性(在某些合适的超参数选择下)。气味之间的相似性被捕获在它们的记忆表示中(突触权重)。记忆回想唤起了与所学权重有关的激活。苍蝇有大约50种不同类型的嗅觉传感器(我们大约有500种，而老鼠有1500种)。将不同气味映射到捕获相似性的分布式表示的能力对于果蝇的生存至关重要。

从本质上讲，通过这种简单的生物网络，可以实现具有非常高的样本效率(一次或两次尝试就学得一种气味)和分布外的学习(将新的气味映射到现有的气味上)。

从Christos Papidimitriou演讲摘录的插图(https://youtu.be/_sOgIwyjrOA) 说明了随机投影和上限保留了相似性。大自然似乎找到了最佳的稀疏度，即找到足够数量的神经元来捕获语义相似性的同时使活动神经元的数量受到限制，以分离出不同的气味。

苍蝇气味系统设计的一个关键方面是表示的稀疏性在信息处理的所有阶段强制执行。将此与DL模型进行对比，会发现，DL模型的每个输入会像改变亮度的活动圣诞树一样照亮整个模型。

也许从输入开始就一直执行稀疏性(类似于随机投影和上限等操作原语)将权重更新限制在几个参数上，有助于快速学习。同样，“一起激发的细胞必定联系在一起”的简单权重更新(学习)规则具有固有的记忆效率，当与随机投影和上限结合使用时，有助于随时间增加的泛化。

DL模型中的学习依赖于随机梯度下降和反向传——迄今为止DL中学习的基础。也许我们还将对DL模型的学习效率进行根本性的改进，最终达到超越自监督学习的DL 2.0目标。

四、最后一点思考

在未来有可能出现一种能够实现接近甚至超越人类水平的人工智能的全新学习方法。假设这种新方法终将出现，则新方法很可能会吸收深度学习的一些核心想法，比如分布式表示，在正确的语义空间中捕获相关性(DL 1.0)和因果关系(DL 2.0目标)等等。

（编辑：晋中站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!