У лівій колонці вихідне зображення 8 × 8 пікселів, посередині згенерувала системою картинка, праворуч оригінальна фотографія.
Google Brain
Фахівці дослідницького проекту Google Brain, який займається розробками в області штучного інтелекту і методів глибокого навчання, навчили нейросеть «додумувати» зображення, генеруючи його на основі декількох пікселів. препринт доступний на arXiv.org.
У художніх фільмах нерідко використовується прийом «наблизити і поліпшити», в результаті якого в розпорядженні героїв виявляється зображення високої роздільної здатності, відновлене з декількох пікселів. На практиці таке неможливо, проте дослідники з Google показали, що на основі пікселізованного зображення низького дозволу можна не відновити, а побудувати заново картинку, яка може бути дуже схожою на реальне зображення.
Для поліпшення зображення автори використовували дві згорткові нейромережі, навчені на однакових наборах даних. Для тренування використовувалися зображення з бібліотек CelebA (двісті тисяч фотографій осіб знаменитостей) та LSUN Bedrooms (два мільйони фотографій спалень), картинки були зменшені до двох розмірів: 32 × 32 пікселів (високий дозвіл) і 8 × 8 пікселів (низький дозвіл).
При «відновленні» зображення з картинки низького дозволу головна нейросеть (prior network) відповідає за генерацію деталей зображення високої роздільної здатності, а друга нейросеть - нейросеть умов (condition network) - відповідає за маппірованіе , Порівнюючи зображення низького дозволу з уже відомими картинками з високою роздільною здатністю. Фактично, завдяки нейромережі умов головна нейросеть «розуміє» що кілька коричневих пікселів вихідного зображення потрібно перетворити в волосся на зображенні з високою роздільною здатністю.
Приклади найбільш вдалих і невдалих зображень, згенерованих системою.
Google Brain
В результаті програма з 64 кольорових пікселів генерує реалістичне зображення дозволом 32 × 32, яке відрізняється від вихідної фотографії високої роздільної здатності. При цьому деякі зображення вийшли більш правдоподібними, ніж оригінальні фотографії - для перевірки реалістичності зображення були залучені добровольці, які після короткого навчання повинні були вказати, яка з картинок в парі є справжньою фотографією.За результатами опитування з'ясувалося, що випробовувані взяли за справжні фотографії згенеровані зображення знаменитостей в 10 відсотках випадків, для фотографій спалень цей показник склав 28 відсотків. При цьому традиційні методи збільшення дозволу, такі як додавання пікселів за кольором сусідніх і бікубічеськая інтерполяція, взагалі не змогли «обдурити» випробовуваних.
Раніше британська компанія Magic Pony Technology демонструвала цікаві результати «додумиванія» вихідного зображення за допомогою методів машинного навчання, проте ніяких технічних подробиць про функціонування програми не повідомлялося.
Микола Воронцов