Система с искусственным интеллектом сочиняет тексты для инструментальной музыки

Исследователи из Университета Ватерлоо разработали LyricJam — передовую вычислительную систему, которая генерирует тексты для живой инструментальной музыки. LyricJam поможет артистам сочинять новые тексты, которые хорошо сочетаются с музыкой. Протестировать систему можно по ссылке. Статья с описанием опубликована на arXiv.org.

По сути, LyricJam представляет собой систему искусственного интеллекта. С точки зрения пользователя приложение очень простое: музыкальный исполнитель воспроизводит живую музыку, а система отображает строки текста, которые он генерирует в реальном времени в ответ на музыку, которую слышит. Сгенерированные строки сохраняются.

Система, созданная исследователями, работает путём преобразования необработанных аудиофайлов в спектрограммы. Затем используются модели глубокого обучения для создания текстов песен, соответствующих музыке, которую они обрабатывали в реальном времени. Архитектура модели состоит из двух вариационных автоэнкодеров, один из которых предназначен для изучения представления музыкального звука, а другой — для изучения текстов.

«Цель нашего исследования — разработка системы, которая может генерировать тексты песен, отражающие настроение и эмоции, выражаемые через различные аспекты музыки. Речь идёт об аккордах, используемых инструментах, темпе. Мы стремились создать инструмент, который музыканты могли бы использовать, чтобы черпать вдохновение для написания собственных песен», — говорит Ольга Вечтомова, автор исследования.