Автор: 
Большинство моделей ИИ основаны на искусственных нейронных сетях, которые состоят из системы искусственных нейронов. Эти нейроны связаны между собой программными соединениями, которые соединяют разные входы с разными выходами, передавая данные и выполняя математические алгоритмы для получения наилучшего результата. Существует множество путей передачи данных, но лишь часть из них используется во многих моделях ИИ. Остальные остаются неиспользованными, занимая много места. Это может привести к замедлению работы модели.
Чтобы решить эту проблему, компания Google создала RigL — алгоритм, который может сделать модели искусственного интеллекта на основе нейронных сетей более эффективными. Это достигается за счёт устранения бесполезных соединений путём внесения стратегических изменений в структуру нейронной сети на этапе обучения модели.
Чтобы протестировать RigL, исследователи использовали модель обработки изображений для анализа изображений разных персонажей. Во время фазы обучения модели RigL заметил, что нужно обрабатывать только изображения переднего плана, пропуская фоновые. Поэтому он удалил соединения, используемые для обработки фоновых пикселей, и добавил новые, более эффективные.
В Google утверждают, что несмотря на то, что RigL удаляет некоторые соединения, это не влияет на точность модели. В одном тесте исследователи Google использовали RigL для удаления 80% соединений модели ResNet-50. Полученная нейронная сеть достигла точности, сопоставимой с точностью оригинала. В другом эксперименте исследователи уменьшили ResNet-50 на 99%, но при этом достигли максимальной точности 70,55%.
RigL от Google не единственный, кто пытается сжать нейронные сети для повышения точности. Используются и другие методы, но они часто идут на компромисс с точностью модели. Специалисты Google говорят, что RigL обеспечивает более высокую точность при меньшем количестве FLOPS, чем другие альтернативные методы на сегодняшний день. Таким образом, RigL одновременно обеспечивает точность и эффективность.
