Автор: 
«Эффект Моны Лизы» — это иллюзия, при которой людям кажется, что глаза с картины следят за ними. Инженер-программист Эмили Се (Emily Xie) разработала интерактивный цифровой портрет, который оживляет этот эффект с помощью браузера и веб-камеры.
Проект использует TensorFlow.js, глубокое обучение и некоторые методы обработки изображений. Общая идея такая: сначала создаётся последовательность изображений головы Моны Лизы с глазами, смотрящими слева направо. Из этого пула постоянно выбирается и отображается один кадр в реальном времени в зависимости от местоположения зрителя.
В частности, Эмили использовала модель движения первого порядка (FOMM), выпущенную Александром Сиарохиным со своей командой в 2019 году. Этот метод состоит из двух модулей: один для извлечения движения, а другой для генерации изображений. Он прост в использовании, так как авторы выпустили готовую реализацию с открытым исходным кодом и предварительно обученными весами для лицевой анимации.
Для того, чтобы отслеживать пользователя через веб-камеру и отображать соответствующий кадр, Эмили использовала модель BlazeFace из библиотеки TensorFlow.js. BlazeFace — это модель распознавания объектов, основанная на глубоком обучении, которая обнаруживает человеческие лица и черты на лицах. Она специально обучена использованию ввода с мобильной камеры. Выбрав модель, Эмили написала код для непрерывной передачи данных с веб-камеры пользователя в BlazeFace.
С самим проектом можно ознакомиться по ссылке.
