Nvidia научили нейросеть восстанавливать испорченные фотки

Шернуть:

Компания Nvidia придумала нейросеть, которая восстанавливает участки испорченных фотографий. Это очень похоже на Content-Aware fill в фотошопе. Результаты исследователи продемонстрировали 22 апреля. Автор «Тучи» разобрался, как работает технология.

22 апреля в ютубе Nvidia вышел ролик, озаглавленный «Research at NVIDIA: AI Reconstructs Photos with Realistic Results» — «искусственный интеллект реалистично восстанавливает фотографии». Пресс-релиз о результатах в тот же день появился на сайте компании. Подробное описание исследования доступно в скучном 23-страничном тексте. Автор «Тучи» прочитал его за вас.

В фотошопе есть функция — Content-Aware. Она заполняет неизвестные участки изображений. Обычно это используется в редактировании фотографий: замазать морщинки, убрать столб на улице или самолет в небе. Как работает технология, до конца не понятно: разработчики не раскрывали технических деталей алгоритма.

Можно, впрочем, предположить простой способ имитации чего-то похожего — постараться достроить картинку исходя из соседних пикселей. Этот алгоритм называется PatchMatch и дает не самый лучший результат. Например, уверены исследователи Nvidia, если замазать часть висящей на стене картины, алгоритм подставит в дырку значения со стены, а не картины (как надо бы).

В Nvidia простым алгоритмам предпочли нейросети. Исследователи взяли как минимум 27 тысяч фотографий, случайно замазав их части 55 тысячами разных образов. Рядом поставили оригинальные картинки. На такой выкладке обучался искусственный интеллект, пытаясь понять, как из испорченной фотографии сделать нормальную.

Полученные результаты проверили на еще 25 000 фотографий. Нейросеть справилась с задачей с переменным успехом. Однородные фрагменты типа «травы» или «камней» получились хорошо, но со сложными деталями начались трудности — алгоритму не удалось восстановить замазанные человеческие глаза и части зданий.

Тот же алгоритм, отметили исследователи Nvidia, можно использовать для увеличения картинок. Для нейросети это одинаковые задачи — просто в этом случае вместо случайных пикселей неизвестны конкретные — верикальные и горизонтальные ряды. Компания также продемонстрировала результат своего подхода — во всех 3 случаях он оказался лучше конкурентов.

 Поиск
 Закрыть