26.04.2024
Подписывайтесь на Telegram-канал по ссылке

Искусственный интеллект раскрашивает фотографии, используя реакцию кожи на свет

Time-Travel Rephotography

Исследователи из Вашингтонского университета, Университета Беркли и Google Research создали новый инструмент для раскрашивания фотографий на основе искусственного интеллекта (ИИ) — Time-Travel Rephotography. Он использует реакцию кожи на свет для получения реалистичных результатов. Подробная статья опубликована в журнале Computer Vision and Pattern Recognition. Учёные использовали инструмент, чтобы воссоздать фотографии Мао Цзэдуна, Франца Кафки, Марии Кюри, Томаса Эдисона, Махатмы Ганди и других.

Знаменитые чёрно-белые фотографии Авраама Линкольна считаются грязными, шумными и отличаются небольшой глубиной резкости, которая фокусируется только на некоторых частях его портрета. Большинство чёрно-белых пленок до 1907 года были ортохроматическими или были чувствительны ко всему видимому свету, кроме таких тёплых цветов, как красный.

Попадая на кожу человека, свет отражается, хотя часть его может проникать через поверхность и освещать кожу изнутри, делая морщины и другие физические особенности менее заметными. Однако эффекты подповерхностного рассеяния не улавливаются ортохроматической плёнкой.

Специалисты и раньше пробовали техники колорирования старых чёрно-белых фотографий. Однако они не учитывали, что происходит со старыми запасами плёнки. Да, специалисты могут устранять зернистость снимков, улучшать их, повышать резкость изображений и раскрашивать их. Но эти фотографии не воспроизводят естественные эффекты смягчения света на коже, которые не были зафиксированы старыми камерами.

На старинных фотографиях изображён выцветший монохроматический мир из-за ограниченных возможностей старых фотоаппаратов. Но новый инструмент для раскрашивания снимков восходит к прошлому и компенсирует низкое качество изображения с помощью искусственного интеллекта.

Исследователи использовали ИИ-систему NVIDIA StyleGan2, обученную с использованием современных цифровых портретов, которые соответствуют исторической фигуре из-за их довольно похожего внешнего вида. Затем учёные спроецировали старые фотографии на пространство современных изображений с помощью системы искусственного интеллекта, чтобы создать сверхреалистичные современные фотографии исторических личностей.