Нейросеть навчилася покращувати пікселізовану зображення

Фото: дослідження проекту Google Brain

Нейросеть навчилася добудовувати зображення на основі декількох пікселів. Досліди зі створенням реалістичних картинок на основі пікселізовану поставили фахівці дослідницького проекту Google Brain. Дослідження є на arXiv.org .

Ця технологія може стати основою для прийому "наблизити і поліпшити" відео, який часто використовують герої художніх фільмів. Зараз отримати чітке зображення на основі декількох пікселів неможливо.

Картинки будували дві згорткові нейронні мережі, навчені на однакових наборах даних. Їх тренували на 200 тисячах фотографій осіб знаменитостей і два мільйони знімків спалень. Картинки зменшили до двох розмірів: 32 на 32 пікселів і вісім на вісім пікселів. Перші були прийняті за зображення з високою роздільною здатністю, другі - з низьким.

Програма генерувала реалістичну картинку на основі 64 кольорових пікселів.

Нейросеть - це алгоритм навчання машинного розуму, аналогічний тому, який використовується в мозку людини. Передова технологія використовується для створення картин, написання музики, гри в го і інших складних і творчих завдань.

Нейросети ділили між собою повноваження при їх реконструкції. "Здогадуючись" картинку низького дозволу головний "мозок" (prior network) відповідав за генерацію деталей зображення високої роздільної здатності, а нейросеть умов (condition network) порівнювала зображення низького дозволу з уже відомими картинками з високою роздільною здатністю. Цей процес дозволив головною нейромережі зрозуміти, в яку деталь потрібно перетворити ту чи іншу групу пікселів.

На знімку представлені (зліва направо) вихідна картинка низького дозволу, кілька знімків створених традиційними методами відновлення зображень, реальний знімок в більш високому дозволі (ground truth) і NN - зображення, створене нейромережею. Фото: дослідження проекту Google Brain

Отримані зображення відрізняються від вихідної фотографії високої роздільної здатності. Деякі з них, за свідченнями опитаних добровольців, навіть вийшли більш правдоподібними, ніж оригінальні фотографії.

Створені машиною зображення взяли за реальні знімки в 10 відсотках випадків. Придумані нейромережею інтер'єри порахували справжніми 28 відсотків.

Інженери завантажили в нейросеть близько двох мільйонів роликів, тривалістю понад рік. Потім програма, що володіє двопотокової архітектурою, проаналізувала дані і спробувала створити відео з рухами людини, виходячи з побачених раніше. Вийшов ролик тривалістю одну секунду в низькій якості.

Алгоритм застосовували до статичним зображенням. За словами дослідників, він зміг переконливо анімувати руху деяких об'єктів.

Яке майбутнє чекає на нейронні мережі і де ще їх застосовують вже зараз, читайте в матеріалі m24.ru .