在模拟神经网络中类似于睡眠样周期会使大脑人工类似物中不间断自学习的不稳定性。
根据LOS Alamos National实验室的新研究,他们几乎肯定会肯定需要休息的休息时间,但休息的休息时间几乎需要休息的福利。
“我们研究了尖峰神经网络,这些系统是学习的系统,”Los Alamos国家实验室计算机科学家Yijing Watkins说。“我们以类似于人类和其他生物系统在童年开发期间从环境中学习的方式训练神经形态处理器的前景被着迷。”
沃特金斯和她的研究团队发现,在连续的无监督学习期间,网络模拟变得不稳定。当他们将网络暴露于类似于在睡眠期间生活大脑经验的波浪时,稳定性恢复了。“就好像我们在给神经网络时相当于良好的夜晚休息,”沃特金斯说。
睡眠可能对未来的智能机器至关重要。
当研究团队努力开发神经网络时,发现的发现是近似近似人类和其他生物系统学会如何看待的神经网络。本集团最初努力稳定稳定模拟神经网络,正在涉及无监督的字典培训,这涉及对物体进行分类而不具有先前的示例来将它们进行比较。
“在试图利用生物学现实的,尖刺的神经形状处理器或试图了解生物学本身时,似乎只出现如何不稳定的问题的问题,”洛杉矶阿拉莫斯电脑科学家和学习考悼戈尔特肯尼昂说。“绝大多数机器学习,深度学习和AI研究人员从来没有遇到过这个问题,因为在他们研究的人工系统中,他们有奢侈的表演具有调节系统整体动态增益的全局数学运作的奢侈。”
研究人员表征了将网络暴露给睡眠的人为模拟的决定,因为几乎是最后一段努力稳定它们。他们尝试了各种类型的噪声,大致与静态相当,在调整收音机时可能遇到的电台。当它们使用所谓的高斯噪声的波浪时,最佳结果来自,包括广泛的频率和幅度。他们假设噪声模拟生物神经元在慢波睡眠期间接收的输入。结果表明,慢波睡眠可以部分作用,部分地确保皮质神经元保持稳定性并且不会幻觉。
群体的下一个目标是在英特尔的Loihi神经形态芯片上实施它们的算法。他们希望允许罗希不时睡觉将使它能够实时地从硅视网膜相机稳定地处理信息。如果调查结果证实了人工大脑中睡眠的需要,我们可能会期望在未来可能会有可能出现的Androids和其他智能机器。
Watkins将在西雅图6月14日在计算机视觉研讨会上展示妇女的研究。
参考:“使用正弦调制噪声作为慢波睡眠的替代品,以实现稳定的无人监督的字典学习在飙升的稀疏编码模型中的”CVPR妇女在计算机视觉研讨会上,2020-06-14(西雅图,华盛顿,美国)。
资金:NNSA NA-22,ASC超越摩尔计划。