30.04.2024
Подписывайтесь на Telegram-канал по ссылке

Искусственный интеллект научился создавать танцы под музыку

EDGE Generation From Music

Танцы являются неотъемлемой частью любой культуры, способом самовыражения и общения. Процесс их создания представляет собой сложную, трудоёмкую задачу, поскольку танец — абстрактное, индивидуальное искусство, его эмоции и технику трудно описать и объяснить. Танцевальные движения выразительны и имеют произвольную форму, но при этом тщательно организованы музыкой.

Однако их разработку можно упростить, используя компьютерные методы для автоматической генерации танцев. Несмотря на свою важность и недавний прогресс, это остаётся сложной проблемой, так как существующие методы и технологии часто неточно отражают особенности физического и стилистически реалистичного человеческого движения.

В 2022 году учёные из Стэнфордского университета представили нейросетевую модель EDGE (Editable Dance Generation from Music), способную генерировать реалистичные, физически правдоподобные танцы в такт музыке. Модель применяет Jukebox для точного распознавания ритма трека и создания высококачественных танцев. Технология оценивает влияние движения верхней части тела танцора на нижнюю, контакт стопы с землёй, возможность скользить.

Пользователи могут указывать временные ограничения, создавать более сложные элементы хореографии с участием нескольких человек, начинать танец с определённых движений и позиций, ограничивать пространство танцора, например если он находится на сцене. В результате создаются пятисекундные клипы, согласованные между собой, которые можно наложить на более длинный трек.

В итоге инженеры пришли к выводу, что люди предпочитают танцы, созданные EDGE. Они надеются, что искусственный интеллект станет интересным и полезным помощником и инструментом для создания новых видов танца, придавая ему определённые импульсы, эмоции и получая при этом правильную хореографию. Кроме того, разработка поможет изучить, как взаимодействуют музыка и движение, что является необходимой областью исследования в неврологии.