В VK Видео появилось автоулучшение качества и разрешения видеороликов на основе собственной нейросетевой технологии NeuroHD — с её помощью пользователи в режиме реального времени автоматически могут двукратно повысить разрешение, восстановить детали и убрать появившиеся после сжатия шумы и дефекты на видео, загруженные в социальные сети ВКонтакте и Одноклассники. Видео с повышенным разрешением уже доступны в ряде групп и публичных страниц ВКонтакте. Их список постоянно расширяется: администратор любого сообщества может отправить запрос, чтобы улучшить качество видео. Для этого достаточно заполнить форму.
Благодаря NeuroHD пользователи VK Видео смогут смотреть в высоком разрешении и любительский контент, и профессиональные ролики, которые были созданы и загружены на платформу до массового распространения камер высокой чёткости. Таким образом, в будущем высокое разрешение получит весь контент библиотеки VK Видео — а это свыше 250 миллионов видео в год, 80% из которых загружают сами пользователи социальных сетей ВКонтакте и Одноклассники.
«Мы заметили рост популярности фильтра «Высокое качество» в поиске видео. Чтобы удовлетворить запрос пользователей VK Видео, мы разработали ML-технологию улучшения качества видео NeuroHD. Она обеспечивает преобразование видеороликов на real-time скорости и обладает высокой производительностью для эффективного использования вычислительных мощностей платформы и клиентских устройств. В NeuroHD нам удалось найти уникальное сочетание настроек модели, данных для обучения и инфраструктурных решений. В итоге 40 миллионов пользователей VK Видео теперь смогут смотреть видео в повышенном разрешении, даже если изначально оно таковым не являлось. Мы рассчитываем, что эта возможность станет одним из драйверов вовлечённости зрительской и авторской аудитории», — говорит Александр Тоболь, CTO ВКонтакте, VK Видео и VK Звонков.
В основе NeuroHD — продвинутая нейросеть из семейства генеративно-состязательных сетей (GAN). Принцип работы таких нейросетей заключается в том, что при их обучении используется две модели. Одна из них генерирует увеличенные изображения, а другая — проверяет сгенерированные изображения, чтобы они не отличались от настоящих. При этом архитектура нейросети, разработанной командой VK Video для NeuroHD, содержит специальные элементы временной консистентности. Они позволяют использовать для улучшения кадра информацию о соседних фрагментах и таким образом получать более чёткое изображение без «плавающих артефактов». Существующие в отрасли решения, не учитывающие непрерывность видеопотока, дают малозаметный эффект: простое увеличение разрешения роликов не приводит к улучшению картинки. Именно поэтому при разработке собственной нейросетевой технологии команда VK Video сделала акцент именно на устранении артефактов сжатия.
Важную роль в обучении нейросети для достижения высокого качества видеокартинки сыграл специально сконструированный набор данных для обучения. Многомиллионная библиотека VK Видео позволила эффективно повышать разрешение видео разных форматов: профессиональных и любительских, горизонтальных и вертикальных, динамических и статичных, длиной в часы или несколько секунд.