Создана нейросеть, которая по движениям музыкантов может определить мелодию

В Массачусетском технологическом институте (МТИ) разработали нейросеть, которая анализирует движения тела, чтобы определить звуки отдельных инструментов. Она сопоставляет движения музыкантов с темпом отдельных партий, позволяя выделить одну флейту или одну скрипку из ряда подобных инструментов.

Нейросеть Music Gesture можно применять для разных задач: от микширования звука и увеличения громкости инструмента в записи и до снижения уровня посторонних шумов, которые могут служить помехой во время видеоконференцсвязи.

В этом и других подобных проектах исследователи использовали синхронизированные аудио-видео-треки для обучения. Антонио Торралба, профессор МТИ и соавтор исследования, отмечает: «Мультисенсорная обработка является предшественником систем ИИ, которые смогут выполнять более сложные задачи».

Сначала учёные применили контекстно-зависимую графовую сеть для интеграции визуального семантического контекста с динамикой тела, и затем — аудиовизуальную модель слияния, чтобы связать движения тела с соответствующими звуковыми сигналами.

Ссылка на источник.