27.11.2021
Наш канал в Telegram: https://t.me/berzaru

Машинное обучение Google создаёт оперное произведение прямо в браузере

Blob Opera Google

Лаборатория искусств и культуры Google в сотрудничестве с оперным певцом Дэвидом Ли решила запустить эксперимент. Сотрудники подразделения создали программу с машинным обучением Blob Opera, которая может создавать «мини-оперы» по заданным вами параметрам. Алгоритм анализирует задаваемые пользователем высоту тона и «форму рта», соответствующую звукам, извлекаемым певцами. Программе пришлось обработать 16 часов аудио, чтобы вы могли сами создать оперную партию.

После анализа программа генерирует музыкальное произведение, основываясь на ранее прослушанных композициях. Для обучения алгоритма исследователи использовали голоса четырёх оперных певцов. Кристиан Джоэл (тенор), Фредерик Тонг (бас), Джоанна Гэмбл (меццо-сопрано) и Оливия Даутни (сопрано) записали 16 часов аудио для эксперимента. В программе четыре типа оперных голосов олицетворяют разноцветные капли с забавными лицами.

Согласно Google, Blob Opera будет работать только в браузерах на компьютерах с самыми современными веб-технологиями. Пока что использовать приложение на мобильных устройствах не получится — оно будет доступно только на компьютерах. Элементы управления в программе позволяют управлять высотой тона и формой рта, от которой зависят извлекаемые певцом гласные звуки.

Выступления можно записать, чтобы затем воспроизвести ещё раз или поделиться с другими людьми. А если нажать на значок ёлки, на головах капель появятся рождественские шляпы. Капли воспроизводят обычные звуки, а не слова, но даже несмотря на это, создаваемый ими мотив «заедает».