- ⇡ # Нове залізо і автопілотіруемие автомобілі
- ⇡ # VR і роботи
- ⇡ # Навчання нейромереж і HPC
- ⇡ # Нові сценарії застосування ІІ
З тих пір як NVIDIA провела першу GTC в 2009 році, конференція виросла за межі щорічного події в Сан-Хосе, Каліфорнія, і проходить ще в шести містах по всьому світу. В осінньому сезоні 2017 року GTC відвідала Пекін і Мюнхен, а потім приїде в Тель-Авів, Тайбей, Вашингтон і Токіо. Разом з географією GTC змінилася і її тематика. NVIDIA справедливо розглядає свій бізнес як щось більше, ніж виробництво графічних процесорів. Крім 3D-графіки, завдяки якій компанія розцвіла в 2000-і роки, NVIDIA досягла лідерства в сфері високопродуктивних обчислень на базі масово-паралельних архітектур, а в останні роки очолила нову хвилю досліджень штучного інтелекту, в рамках якої це поняття стало практично тотожним з машинним навчанням. 
З лівого нижнього кута за годинниковою стрілкою: Mercedes Concept IAA з трансформованим кузовом, гоночний безпілотник Robocar Roborace, Audi A8L 3.0 Quattro (автопілот третього рівня), Tesla Model X (автопілот другого рівня), NVIDIA BB8 (автопілот четвертого рівня)
Як наслідок, і весь зміст GTC обертається навколо проблем машинного навчання і практичного використання отриманих цим методом моделей. Однак у кожного локального відділення GTC є своя специфіка. Німецька GTC Europe пройшла в країні, яка є одним зі світових центрів автомобільної індустрії, а значить - її основною темою стали безпілотні авто і пов'язані з цим напрямком технології.
⇡ # Нове залізо і автопілотіруемие автомобілі
До мюнхенської конференції NVIDIA приурочила анонс автомобільного комп'ютера наступного покоління - Drive PX Pegasus. Нова система дозволить втілити в життя те, до чого компанія прагнула з моменту її перших дослідів в області бортових ПК, - автопілот вищого, п'ятого рівня, який зробить реальністю повністю автономне водіння, без втручання людини.
Для вирішення такого амбітного завдання Pegasus має вельми серйозною за мірками вбудованих систем потужністю - як обчислювальної, так і електричної. В основі комп'ютера лежать дві системи-на-чіпі Xavier, анонсовані на травневій GTC в Сан-Хосе. Xavier є черговим сином сімейства Tegra, яке фірма спочатку намагалася поширити на ринку мобільної електроніки, але потім була змушена перепрофілювати під потреби стаціонарних комп'ютерів. У цій сфері, де енергоспоживання не настільки жорстко обмежує можливості SoC, чіпи NVIDIA ростуть з кожним поколінням. Xavier, архітектуру якого ми поки представляємо лише в загальних рисах, має вісім ARM-ядрами оригінального дизайну (як видно, це ядра Denver або їх похідні з настільки ж «широким» пристроєм конвеєра і відповідним швидкодією) і вбудованим GPU сімейства Volta. Останній, крім 512 ядер CUDA, містить т. Н. тензорні ядра, які з'явилися саме в архітектурі Volta і призначені для операцій виведення (inference) на основі попередньо сформованих мереж глибинного навчання.
Компонентний бюджет Xavier становить 7 млрд транзисторів, а виробництвом чіпа займеться TSMC по технологічній нормі 16 нм FinFET +. Згідно з оцінками виробника, одна SoC Xavier з енергоспоживанням 30 Вт по продуктивності еквівалентна бортовому комп'ютеру Drive PX 2 на основі двох чіпів Tegra X2 і двох дискретних GPU сімейства Pascal.
Drive PX Pegasus, який був представлений на GTC Europe, на додаток до процесорів Xavier отримає пару GPU наступного за Volta покоління (судячи з фотографій, в форм-факторі mezzanine з шиною NVLINK). Якщо відштовхуватися від даних про енергоспоживання системи (500 Вт), мова йде про GPU класу GP100 / GV100. Продуктивність комп'ютера NVIDIA оцінює в трильйони операцій виведення (inference) за секунду: сукупна потужність чотирьох чіпів Pegasus становить 320 TOPS. Якщо врахувати, що 40 TOPS в Pegasus беруть на себе чіпи Xavier, то проектне швидкодію загадкових GPU становить 140 TOPS при TDP 220 Вт. Це дещо говорить про властивості прийдешньої архітектури NVIDIA в порівнянні з графічними процесорами Volta V100, розрахованими на 120 TOPS при TDP 300 Вт.
Оскільки NVIDIA лише недавно почала поставки Volta своїм партнерам в HPC-сфері, а Xavier надійде в масове виробництво не раніше 2018 року, до появи системи у плоті залишився чималий термін, не кажучи вже про автомобілі з Drive PX Pegasus на борту. Доступ до Pegasus обрані партнери NVIDIA отримають на початку наступного року, але не варто розраховувати, що в них увійдуть нові GPU, а не вже відомі Volta V100.
Паралельно з залізом нового покоління в NVIDIA ведеться робота над власним стеком ПО для бортових комп'ютерів DRIVE PX. Пакет NVIDIA DIVE IX SDK, який з'явиться в ранньому доступі до кінця 2017 року, складається з операційної системи і мереж глибинного навчання, тренованих на рішення задач машинного зору. Йдеться як про обробку даних з зовнішніх датчиків автомобіля, так і про голосовому управлінні функціями бортового комп'ютера, а також контролі стану водія шляхом відстеження погляду і положення голови.
Що стосується обладнання і ПЗ, якими оснащуються комерційні авто, то на сьогоднішній день лише обрані моделі переступили межу третього рівня автономності. Відомий автопілот в Tesla (працює на залозі Drive PX 2) поки обмежений рівнем 2,5: від водія вимагається стежити за дорогою і бути готовим у будь-який момент взяти керування на себе. Третій рівень вже має на увазі, що автопілот повністю бере на себе спостереження за дорогою і водіння, але тільки за певних умов. На практиці виробники автомобілів обмежують автопілот найбільш безпечними режимами водіння. Перший і єдиний на даний момент автомобіль з автопілотом третього рівня - Audi A8 четвертого покоління, представлений в цьому році, - дозволяє відпустити кермо тільки при швидкості в межах 60 км / год на шосе з розділовим бар'єром. У бортовому комп'ютері Audi zFAS використовуються шість чіпів NVIDIA, серед яких ідентифіковано тільки Tegra K1, який обслуговує візуальний інтерфейс системи.
Вищі рівні автономності (четвертий і п'ятий), навіть за умови, що необхідна обчислювальна потужність вже доступна в бортових комп'ютерах (нехай до того часу, коли такі системи, як Pegasus, увійдуть в експлуатацію, ці системи споживають кіловати електрики), в даний момент є предметом інтенсивної роботи. Сама NVIDIA створює не тільки залізо, але і програмну частину автопілота нового покоління на основі нейромережі PilotNet, яку відчуває на власному авто під назвою BB8 (насправді це Lincoln MKZ з бортовим комп'ютером Drive PX 2). BB8 на даному етапі досяг четвертого рівня автономності: це означає, що при сприятливих умовах людина може повністю усунутися від процесу водіння, а в нештатної ситуації машина самостійно зверне з дороги і припаркується. Такими ж властивостями володіють безпілотні автомобілі, які Google використовує для фотозйомки доріг. У 2020 році NVIDIA планує прийти до п'ятого рівня: така автоматика впорається з будь-якими завданнями незалежно від того, є водій за кермом чи ні.
⇡ # VR і роботи
Через півтора року після виходу комерційних версій HTC Vive і Oculus Rift майбутнє технологій віртуальної реальності все ще залишається туманним. Серед багатьох чинників, які гальмують прихід VR на масовий ринок, проблемою номер один є мізерний вибір ігор, які спонукають геймерів купувати шолом віртуальної реальності. Однак на тлі похмурих настроїв, окутавших зароджується VR-індустрію, все частіше звучать заклики використовувати наявну технологічну базу для більш практичних завдань.
NVIDIA, як один з лідерів в сфері комп'ютерної графіки, має в своєму розпорядженні повним стеком технологій для створення VR-середовища - від графічних процесорів, адаптованих до рендерингу сцени в двох точках проекції, до програмних бібліотек GameWorks і VRWorks. Бракує тільки шолома, хоча випуск власного пристрою став би для компанії природним кроком. Однак перші гроші на готовому додатку, пов'язаному з віртуальною реальністю, NVIDIA збирається отримати швидше з рук корпоративних клієнтів, ніж геймерів.
На GTC в Сан-Хосе в травні поточного року NVIDIA представила проект Holodeck (так-так, це черговий винахід під ім'ям знаменитого пристрої з Star Trek). А в Мюнхені було оголошено, що це рішення, призначене для спільної роботи кількох людей над різними дизайнерськими та інженерними задачами, незабаром надійде в ранній доступ на Steam.
За рахунок того, що Holodeck створює тривимірну середу з фотореалістичної графікою і симуляцією фізики, виробники обладнання, транспортних засобів, предметів інтер'єру та ін. Зможуть виконувати прототипирование виробів «в цифрі» перш, ніж замовляти виготовлення фізичного макета або досвідченого зразка. Інша потенційне застосування Holodeck полягає в навчанні персоналу роботі з новим обладнанням. На підтримку Holodeck вже висловилися кілька великих організацій: NASA, виробник автомобілів Koenigsegg і архітектурне бюро KPF.
Система побудована на базі движка Unreal Engine 4 в поєднанні з бібліотеками NVIDIA VRWorks, DesignWorks і PhysX. В даний момент можливий імпорт моделей з робітничого середовища 3ds Max і Maya за допомогою відповідних розширень, а в майбутньому розробники планую ввести підтримку інших поширених CAD-програм. У багатокористувацької конфігурації Holodeck використовує клієнт-серверну модель, запозичену з онлайн-ігор: функції рендеринга на стороні віддаленого користувача виконує його власний GPU, результати дій відображаються миттєво, а потім синхронізуються з комп'ютером «господаря» сесії. Імпортовані з CAD моделі попередньо завантажуються з сервера на комп'ютери учасників сесії. Системні вимоги версії Holodeck, викладеної в ранньому доступі на Steam, включають відеокарту класу GeForce GTX 1080 Ti і вище для того, щоб забезпечити прийнятну латентність і частоту зміни кадрів.
Судячи з «живою» демонстрації Holodeck, в якій ми брали участь на GTC, в попередньої версії платформи вже доступні її основні функції - такі як можливість в деталях розглянути модель зовні і зсередини (в нашому випадку це був автомобіль McLaren), робити рукописні позначки на поверхні моделі і в повітрі, вимірювати габарити деталей і міняти їх матеріал, користуючись бібліотекою NVIDIA vMaterial. А сама ефектна функція - це «вибуховий макет», коли модель розлітається на всі складові її деталі.
Однак Holodeck ще далекий від стадії комерційного релізу, тому не всі компоненти програми працюють як задумано. Наприклад, ще не підключена фізика на базі API PhysX, чому виникають такі курйози, як можливість підняти автомобіль і залишити в повітрі. Крім того, при найближчому розгляді модель не є настільки ж деталізованої, як CAD-проект, з якого вона була імпортована.
Крім промислового дизайну, VR з таким же успіхом може застосовуватися в іншій сфері - навчанні штучного інтелекту. Для цього призначений проект Isaac (ім'я дано на честь Ньютона і Азімова), що має з Holodeck багато спільного.
У найпростішому випадку Isaac дозволяє роботам, що діє на основі мереж глибокого навчання, багаторазово прискорити освоєння простих фізичних маніпуляцій - таких, як сортування і монтаж деталей на конвеєрі. В даний момент заводські роботи програмуються алгоритмическим чином. Як наслідок, підготовка послідовності операцій займає порівняно великий час - це підходить для випуску виробів великими партіями, але погано окупається на дрібних замовленнях. З іншого боку, навчання робота за допомогою нейромереж може бути ще більш тривалим і навіть небезпечним, якщо мова йде про великих машинах. Обидва ці фактори усуває попередній етап тренування у віртуальному середовищі, швидкість якої обмежена фактично лише обчислювальною потужністю масиву GPU. Отриману за допомогою Isaac програму потім завантажують в пам'ять реального робота.
Хоча Isaac позиціонується в першу чергу як засіб навчання роботів моторним операціями, таким же чином можуть вирішуватися завдання іншого класу (розпізнавання образів, навігація в просторі і т. Д.) - за умови, що VR-середовище в кожному конкретному випадку забезпечує кращу швидкість навчання , ніж попередні методи. Наприклад, на GTC за допомогою шолома HTC Vive і ПО Isaac можна було зіграти з роботом в доміно. Сам Isaac теж є самонавчається: одночасно можуть бути запущені кілька сценаріїв тренування, серед яких буде обрано найбільш ефективний шлях. Останній, в свою чергу, теж буде розмножений на кілька альтернативних сценаріїв і т. Д.
Робот-кур'єр компанії Starship Technologies
Як і Holodeck, проект Isaac використовує движок Unreal Engine 4, а також підтримує інтеграцію з OpenAI Gym - відкритим набором алгоритмів навчання з підкріпленням. В даний момент дослідники можуть отримати доступ до більш ранньої версії Isaac, подавши звернення на сайті NVIDIA .
Прототип антропоморфного робота від The Robot Studio
⇡ # Навчання нейромереж і HPC
До сих пір ми говорили головним чином про засоби впровадження мереж глибинного навчання, на відміну від тих методів, якими їх отримують. У цій області NVIDIA не продемонструвала нічого нового на GTC Europe 2017, але нагадала про ті можливості, якими вже володіють її програмні і апаратні рішення класу НРС (High Performance Computing).
Незадовго до Мюнхена на пекінському відділенні GTC компанія представила третю версію пакету TensorRT, який представляє собою набір високопродуктивних бібліотек, що виконують операції виводу (inference) на основі мереж глибинного навчання, і інструмент оптимізації мереж. У число функцій TensorRT входить модифікація параметрів вузлів нейромережі (ваги, пороги активації), об'єднання шарів, настройка і багатопоточний виконання обчислювальних ядер (kernels).
TensorRT 3 знаходиться в статусі реліз-кандидата і доступний для скачування на сайті NVIDIA . Програма сумісна з прискорювачами обчислень на основі архітектур Pascal і Volta і вбудованими комп'ютерами сімейства Jetson. Використання TensorRT 3 забезпечує 3,7-кратний приріст пропускної здатності на платформі Tesla V100 (Volta) в порівнянні з Tesla P100 (Pascal). Крім того, рішення NVIDIA володіє в 18 разів вищою продуктивністю, ніж універсальна бібліотека TensorFlow, запущена на обладнанні NVIDIA.
У порівнянні з центральними процесорами Tesla V100 під керуванням TensorRT 3 в 40-140 разів прискорює завдання впізнання зображень і вдвічі знижує латентність операцій. Сервер NVIDIA HGX, оснащений вісьмома прискорювачами Tesla V100, по швидкодії можна порівняти з 160 центральними процесорами (NVIDIA не уточнює кількість ядер CPU), споживаючи 1/20 частку електроенергії. Оцінка загальної вартості володіння, з урахуванням ціни устаткування і електричної потужності, показує 10-кратну перевагу рішення NVIDIA.
За допомогою масиву GPU і ПО TensorRT NVIDIA виконала тренування нейромережі PilotNet, яка забезпечує безпілотному авто BB8 четвертий рівень автономності. Так, вісім серверів DGX, в сукупності оснащених 64 графічними процесорами, дозволяють автопілоту проїхати дистанцію 300 тис. Миль за 5 годин у віртуальному середовищі, а двох діб досить, щоб об'їздити таким чином все до єдиної дороги США.
Настільки ж ефектною демонстрацією можливостей TensorRT і заліза Pascal / Volta є голосовий пошук фраз у відеозаписі, який система виконує в реальному часі.
USES UTX1A містить 24 фізичних сервера на базі NVIDIA Jetson TX1 в одноюнітового шасі
⇡ # Нові сценарії застосування ІІ
Найбільш амбітним проектом з використанням нейромереж серед усього, що коли-небудь представила NVIDIA, є Metropolis. Ця платформа об'єднує в одну інфраструктуру сервери DGX / HGX, що вбудовуються ПК на базі енергоекономічних модулів Jetson або прискорювачів Tesla / Quadro, які - кожен на своєму етапі - займаються аналізом індексуванням даних, одержуваних камерами відеоспостереження. При належному масштабі впровадження Metropolis відкриває небачені (і, що цілком зрозуміло, що лякають) можливості по управлінню міською інфраструктурою. Найбільш перспективним сценарієм використання для Metropolis є централізований контроль дорожнього руху, але з тим же успіхом платформа готова відслідковувати поведінку пішоходів - або з метою виявити злочинців, або для того, щоб власники торгових точок розуміли, як покупці переміщуються по залу і на що вони звертають увагу .
В якості побічного продукту Metropolis розробники привезли на GTC поліцейську машину, оснащену системою відеоспостереження і безпілотним гексакоптером, який здатний в автоматичному режимі переслідувати порушників порядку в тому випадку, коли погоня на колесах неможлива.
Однак розповідь про GTC Europe 2017 хочеться завершити на менш тривожною ноті. Так, бюро дизайну та розробки Cambridge Consultants продемонструвало інструмент, який створює на основі зроблених від руки начерків картини в стилістиці великих художників.
В Основі Vincent лежить нейросеть, получил с помощью різніх методів глибокого навчання. Основний з них - функція перцептивних втрат - дозволяє трансформувати одне зображення в інше, зберігаючи високорівневі ознаки і замінюючи низькорівневі (таким чином працює відоме додаток Prisma). Однак розробники Vincent додатково застосували метод вкладених (stacked) мереж, який передбачає спільну роботу декількох, натренованих окремо моделей. А головне, логіка програми відточена змагальним підходом, коли одна нейронна мережа намагається зробити зображення, стилістично неотличимое від картини будь-якого відомого художника, а інша мережа намагається виявити відмінності між згенерував зображенням і відомими шедеврами.
Навчання Vincent виконувалося на апаратній платформі NVIDIA DGX за допомогою бази, яка містить тисячі творів - від епохи Відродження до наших днів. У підсумкову мережу увійшли майже 200 тисяч параметрів. На відміну від попередніх програм такого роду, які використовують в якості вступних даних готові зображення, системі Vincent досить надати створений людиною начерк, а мережа потім визначить, що «означають» ті чи інші форми, і заповнить полотно відповідно до стилю обраного живописця. Після завершення трансформації користувач може внести зміни, які будуть інтегровані в нову версію картини.
Не менш цікаво виглядає проект BodySLAM канадського розробника wrnch. За допомогою глибинного навчання програма в реальному часі створює тривимірну модель пози людини на основі відеопотоку зі звичайною двомірної камери і успішно пізнає навіть окремі пальці на руці. Потім - також в реальному часі - отримані дані можуть використовуватися для анімації комп'ютерних моделей методом Motion Capture, а практичні перспективи технології лежать в області взаємодії «людина - робот» і безпеки праці на промислових об'єктах.
Если Ви помітілі помилки - віділіть необхідній текст и натісніть CTRL + ENTER.