Автор: 
В зависимости от возраста людям нужно спать от 7 до 13 часов в сутки. Пока тело расслабляется и отдыхает, мозг, напротив, трудится: запоминает всё, чему мы научились за день и реорганизует воспоминания наиболее эффективным образом. Искусственные нейросети в какой-то мере повторяют архитектуру человеческого мозга. В ряде областей они достигли впечатляющих результатов и превзошли людей, но в одном ключевом аспекте искусственный интеллект пока отстаёт. Речь идёт о феномене катастрофического забывания, ситуации, когда нейронные сети записывают новую информацию поверх предыдущей. Учёные из США нашли решение этой проблемы.
«Человеческий мозг, напротив, учится последовательно и интегрирует новые данные в существующее знание, — сказал Максим Баженов, профессор медицины из Калифорнийского университета в Сан-Диего, — и обычно лучше всего учится, когда новые навыки перемежаются с периодами сна для консолидации памяти».
Баженов и его коллеги опубликовали статью, в которой описывают, как новые биологические модели могут способствовать снижению риска катастрофического забывания в нейросетях и повышению их эффективности в различных научно-исследовательских проектах. Исследование опубликовано в журнале PLoS Computational Biology.
Учёные взяли за основу импульсные нейронные сети, которые имитируют естественные нейронные системы. Информация в них передается в виде дискретных событий, или импульсов, вместо того чтобы поступать непрерывно. Исследователи обнаружили, что благодаря периодам бездействия, которые имитировали сон, удаётся предотвратить процессы катастрофического забывания. Как и у людей, сон нейросети позволяет ей проиграть старые воспоминания, не используя в явной форме старые данные.
«Когда мы изучаем новую информацию, нейроны активируются в определённом порядке, это увеличивает синапсы между ними, — сказал Баженов. — Во время сна заученные во время бодрствования паттерны импульсов спонтанно воспроизводятся. Это называется реактивацией или повтором. Синаптическая пластичность, то есть способность к изменению или формированию, действует во время сна и может ещё больше увеличить паттерны синаптического веса, которые образуют память, чтобы помочь предотвратить забывание или обеспечить перенос знания со старых на новые задачи».
Применив этот подход к искусственным нейросетям, ученым удалось защитить их от процесса катастрофического забывания. Это значит, что нейросети могут обучаться непрерывно, как люди или животные, но для этого нужно давать им отдыхать.
