Нейросеть замість фотошопу

Дослідники з Каліфорнійського університету в Берклі створили нейросеть, що виконує складну творчу роботу. Вона перетворює вихідні чорно-білі фотографії в повнокольорові, додаючи дані про колір об'єктів за результатами аналізу понад мільйон подібних зображень. За лічені хвилини (або навіть секунди, якщо комп'ютер досить потужний) вона досягає кращого результату, ніж профі за кілька годин роботи вручну.

Замість розфарбовування об'єктів по верствам в Photoshop, підбору відтінків і рівнів прозорості, нейросеть просто обчислює відсутні дані про колір, грунтуючись на великий (точніше, зростаючої) базі кольорових знімків. Погляньте на результат обробки чорно-білого пейзажу американського фотографа Ансель Адамс.

Обробка нейромережею ч / б фотографії "Хребет Тітон і річка Снейк", Ансель Адамс, 1942 г. (зображення: Richard Zhang et al., University of California, Berkeley).

Звичайно, в її роботі можливі помилки. Наприклад, вона не зможе розрахувати відтінок очей на дореволюційній фотографії або обчислити колір відзнак на формі військових років. Світло-сірий може виявитися світло-синім, світло-жовтим і яким завгодно ще. Точний результат досягається тільки при можливості порівняти чорно-біле зображення з схожим кольоровим.

Однак і в такому варіанті результати роботи нейромережі виглядають дуже вражаюче. На представлених в тесті знімках досягнуто дуже реалістичне відновлення кольору і максимальний ступінь деталізованості.

Перетворення монохромних фотографій в кольорові (зображення: Richard Zhang, Phillip Isola, Alexei A. Efros).

Оперуючи тільки рівнями яскравості і базою кольорових знімків для порівняння, нейросеть за вісім етапів розфарбовує кожен піксель. Підсумок виходить таким, немов фотографія спочатку була кольоровою.

Як і дизайнер, при нестачі інформації нейросеть виходить з деяких очевидних передумов. Наприклад, відтінок неба зазвичай блакитний, трава - зелена, а море - синє. Однак ці правила не жорстко зумовлені алгоритмом. Небо на заході буде здаватися червонуватим, осіння трава - жовтуватою, а море може стати зеленим через скупчення водоростей. Якщо в базі буде хоча б декілька відповідних зображень, нейросеть відступиться від початкових критеріїв і спробує створити подібне за тональністю фото.

Етапи обробки монохромного знімка нейромережею (зображення: Каліфорнійський університет в Берклі).

Найбільш часто нейросеть помиляється в натюрмортах. Колір фруктів, букетів або сервізу може виявитися зовсім іншим. Однак пейзажі і більшість інших типів сцен обробляються коректно. У проведеному тесті Тьюринга 20% учасників взагалі відмовлялися вірити, що розфарбовані нейромережею зображення спочатку були монохромними.

Самі автори роботи відзначають, що добитися високої точності передачі кольору методом розфарбовування монохромних зображень неможливо в принципі. Якщо інформація про колір в вихідному кадрі відсутній, то її просто ніде взяти. Залишається лише «вгадувати», тобто працювати з ймовірними моделями і відновлювати 2/3 даних методом пошуку відповідностей. Тому основним завданням вони ставлять не стільки точну реконструкцію кольору, скільки отримання правдоподібних повнокольорових зображень.