Кино в реальном времени - перевод интересной статьи

29Дек

Кино в реальном времени - перевод интересной статьи

Друзья, предлагаем Вашему вниманию новый раздел статей «Просвещаемся в 3D сфере и учим английский» (левая колонка наш перевод - правая - оригинальный текст). Можно воспользоваться только левым столбцом, однако, мы советуем Вам, если вы хотите углубляться в 3D сферу, обращать внимание на иностранные предложения и фразы, чтобы иметь возможность лучшим образом осуществлять работу в 3D софте, успешно проводить переговоры с иностранными заказчиками, а так же легко общаться с зарубежными коллегами! Надеемся, данный подход к подаче интересного материала Вам понравится!

Для начала REAL-time видео, созданное в Unreal Engine и этапы его разработки:

Игровые движки находят новые и необычные области применения. Иэн Дин встретился с руководителями компаний Epic Games и Ninja Theory, чтобы обсудить перспективы CG-технологий в медиа и кинематографии.

 

На наших глазах рождается новая отрасль в индустрии медиа-развлечений, которую создают VFX-студии и разработчики игр. Так, в Unreal Engine они смогли разглядеть не только игровые возможности - и начали экспериментировать с этим движком в области реал-тайм рендера.

 

Ким Лайбрери 

 
- Поскольку движок доступен буквально каждому, мы видим, что множество людей используют Unreal во всех областях и самым разным образом, - говорит (Kim Libreri), руководитель технического отдела компании Epic Games. -  В индустрии кино его уже применяют для предварительной визуализации и немножко - для создания самой картинки. Некоторые компании считают это направление будущим медиа-индустрии. 

Одна из таких компаний - Ninja Theory, чей демо-ролик игры Hellblade смотрится как настоящий мини-фильм, поднимая массу вопросов о перспективах съёмок в реальном времени. 

 

- Создание фильма в реал-тайме довольно схоже с традиционной кинематографией, где нужны актёры и камеры. Там вы снимаете сцену и получаете планы с нескольких ракурсов. Этот материал потом редактируется и собирается в последовательность эпизодов. Так делается в нашем мире, - объяснет Ким. - Но разница в том, что всё в Hellblade было сделано в мире виртуальном. И подчас всего процесса съёмки мы могли оцифровывать не только движения и внешность нашей актрисы Мел (Мелина Джёрдженс, англ. Melina Juergens), но и параметры камеры, которая её снимала.  И делали мы это с помощью так называемой виртуальной камеры.

 

В случае с Hellblade как всё окружение, так и персонаж Сенуи не имеет аналогов в реальном мире. Компании Epic и Ninja Theory получают данные от захвата движения (также MoCap, от англ motioncaptureприм. перев.), а также информацию из реального мира, и применяют их к персонажу в мире виртуальном.

 

Ким говорит, что давно увлекается технологий захвата исполнения (performancecapture) и цифровыми персонажами - ещё с тех пор, когда работал супервайзером по VFX на съёмках трилогии "Матрица". Для этой культовой франшизы он создал цифровой образ Хьюго Уивинга, который играл агента Смита. 

 

- Я просто в восторге от нашего метода; чтобы реализовать реал-тайм, нужен лишь соответствующий уровень технологии вычислений на GPU, - говорит Ким.

 

Игра Hellblade является пионером в области захвата движения в реал-тайме. Пост-продакшн для неё выполнялся прямо во время съёмки

 

Демо-ролик Hellblade, показанный недавно на SIGGRAPH (ежегодная конференция по вопросам компьютерной графики, созываемая организацией ACMSIGGRAPH. Созывается с 1974 года. - прим. перев.), приоткрыл лишь частичку возможностей этой технологии:

- Мы показали миру, что игровой движок может не только создавать красивую картинку, которую мы привыкли видеть в современных блокбастерах. Он даёт вам творческие возможности, которые позволяют снимать настоящее кино, - поясняет Ким.

 

Переосмыслите свой пайплайн

 

- Главное, что стоит за созданием Hellblade - это поиск более эффективных способов делать то, что мы делали раньше, - говорит Тэмим Антониэйдс (Tameem Antoniades), художественный руководитель студии Ninja Theory. - Когда мы начинаем новый проект, я продумываю, как изменятся наши подходы к созданию очередной вселенной. Теперь мы будем создавать наших персонажей и локации, и лишь затем снимать их - как это делают в кино.

 

Работая над прежними играми вроде Heavenly Sword, Тэмим следовал стандартному пайплайну. Технология захвата движения уже применялась на съёмках эпизодов, но требовалось более полугода, чтобы получить из этого материала готовый продукт. И вплоть до самого конца Тэмим не был уверен, что этот продукт будет нужного качества.

 

Реал-тайм кинематография имеет много преимуществ: "В этой системе вы снимаете и сразу получаете результат. Сразу можно что-то поправить. Так, мы сразу берём съёмки лица персонажа, переходим в оффлайн режим и настраиваем картинку. Не нужно гадать, что получится, и держать пальцы скрещёнными".

 

- Снимаем мы примерно так же, как и при создании Heavenly Sword, но эта система позволяет нам сразу получать картинку из того, что режиссёр с актёрами делают на площадке. С возможностью доработки. Именно в этом весь смысл. Это стало последним звеном цепи: теперь можно видеть, что получается - а не надеяться, что всё будет хорошо.

 

Ким соглашается с Тэмимом:

- Теперь мы свободны. Создание визуальных эффектов - бизнес, в котором я реализовал себя. И всегда нам приходилось ждать неделями и месяцами, чтобы увидеть результат. А теперь без проблем можно создавать классную картинку интерактивно. Это открывает возможности для создания новых жанров и для выхода на аудиторию, имеющую новые устройства виртуальной реальности. 

 

Такая система помогает сделать сцены динамичнее: "Высоким уровнем мастерства считаются вещи вроде того, когда глаза у персонажа двигаются, перебегают с места на место", - отмечает Ким. - "Но если вы используете стандартный просмотр в MotionBuilder (программный пакет, предназначенный для персонажной анимации и обработки данных MoCap – захвата движения – прим. перев.), то почти невозможно определить направление взгляда. Вы просто не знаете, куда он идёт"

 

Ким поясняет, что в демо-ролике по Hellblade актриса играла параллельно с собственной "цифровой версией" и от неё много раз требовалось направлять взгляд туда, куда было нужно. "Мы получили высококачественную картинку из движка, которая выглядит примерно так, как должно быть в игре. И эта возможность изменила сам уровень того, что мы собирались получить. Теперь можно быть уверенным, что в конце съёмок сцены у нас есть то, что надо. Раньше для этого требовался как минимум ещё один дубль - это в самом лучшем случае. А потом надо было отправлять материал на постобработку, и аниматоры по ключевым кадрам создавали видео".

 
Совсем другая игра 

Реал-тайм киносъёмка в Unreal означает, что режиссёр получает такие же возможности, что и в обычной кинематографии.

 

 

 

"Мы решили с самого начала создавать детализированное изображение персонажа... аниматоры или МоСар-художники могут сразу поправить картинку: изменить форму и положение губ, моргать и вращать глазами в Maya", - говорит Ким Лайбрери (EpicGames)

 
 

Захват движения в реал-тайме будет доступен каждому

 

Виртуальная реальность изменит всё - говорит Александр Печев, генеральный директор IKinema(британская компания, которая создаёт инновационные программные продукты для анимации, игровой индустрии, обработки и интеграции MoCap-материалов, постпродакшена и т.д. - прим. перев.). 

 

Применять технологию  MoCap дома или в небольшой студии ещё довольно накладно. Но пока Kinnect (бесконтактный сенсорный игровой контроллер для Xbox 360 и  ПК Windows - прим. перев.) не получил широкого распространения, а системы Xsens (датчики наклона, ускорения, гироскопы и акселерометры, которые применяются в мобильных устройствах. Информация передается с беспроводных датчиков, которые крепятся на руках и ногах человека, на компьютер - прим. перев.) дешевеют, будущее может завоевать технология, применённая в Hellblade. 

 

Для передачи данных захвата движения от актёра к его аватару в реал-тайме использовалось приложение iKinema Liveaction. С недавних пор специалисты по MoCap перешли от рендера в Maya Motionbuilder к использованию игровых движков. Например, Unreal Еngine.

 

Сама программа iKinema Liveaction имеет 14-дневный срок триала, но кроме неё потребуются системы захвата движения, будь то продукция от Vicon, Оptitrack или Xsens. "Однако мы работаем над независимым [от этих платформ] интерфейсом, который позволит обрабатывать любой поток MoCap-данных в реал-тайме", - продолжает А. Печев.

 

То есть, он даёт понять, что шлемы и перчатки виртуальной реальности могут стать основой для применения этой технологии в домашних условиях.

"Мы работаем над использованием бюджетных контроллеров, наподобие тех, которые уже выпускаются., - говорит он. -  Мы уже продемонстрировали возможность работать с верхней частью тела, используя контроллеры для рук и головы. А теперь крупные производители вроде НТС продвигают качественные устройства для  захвата движения, доступные для домашнего использования".

 

Эту позицию поддерживает Ким Лайбрери из Epic: "Valve (Valve Corporation — американский разработчик компьютерных игр, игровых движков, программного и аппаратного обеспечения – прим. перев.) анонсировала бесплатное приложение по МоСар для своей системы виртуальной реальности... если поразмыслить, то шлемы для захвата движения могут работать так: они дают информацию о своем положении в пространстве, которое отслеживается системой, и она знает положение вашего тела в трехмерном пространстве. Точно так же, как знание, где находятся маркеры на теле Мел [в ролике по Hellblade] позволило нам захватывать её движения. Поэтому я уверен, что скоро мы увидим адаптацию технологии Vive (шлем и контроллеры HTCVive. Захват движения происходит считыванием светодиодами 2 лучей от базовых станций – прим. перев.), которая позволит использовать МоСар множеству любителей. Думаю, мы увидим немало народу, который возьмёт за основу Vive и будет создавать системы захвата движения"

 

Компания iKinema уже подгоняет систему Vive под свои возможности: "Мы прикрепляем контроллеры к ступням, чтобы получить захват всех движений. Конвертация этих данных в движения аватара не представляет технической сложности. Так что уже сейчас небольшие компании инди-разработчиков, кинематографистов или художников могут приобрести набор за £800 и получить полнофункциональную МоСар-систему", - говорит А. Печев.

 

Актриса Мел играла одновременно с собственной цифровой копией, чтобы обеспечить захват нюансов – таких, как направление взгляда

 
Просто начните 

По словам Кима и Тэмима, создатели фильмов будут использовать реал-тайм инструменты как продвинутый способ пре-визуализации. Это позволит отснять больше качественного материала на ранних стадиях продакшна, что позволит сэкономить средства. Но возможностей тут намного больше.

 

- При создании виртуальной площадки, где действие будет идти "в цифре", вы получаете полную свободу операций над всеми элементами; а самое волшебное - это возможность создавать интерактивное взаимодействие между ними. Вы не просто снимаете эпизоды, а создаёте сцены, у которых может быть множество вариантов развязок, множество развилок в сюжете", - говорит Тэмим.

 

- Вы можете накладывать на снимаемый материал процедурные системы (возможно, речь идёт об инструментах, подобных системам частиц в 3D Max - прим. перев.), а если у вас есть опыт работы с виртуальной реальностью, то можете поместить туда какого-нибудь персонажа, - продолжает он. - В этом случае, пока они там играют, они отслеживают все ваши команды, и если вы меняете сюжет или место действия - персонажи реагируют на это и переключаются на новую сцену. Эти возможности раньше не были доступны нигде, кроме игровых технологий - и я убеждён, что они сформируют новый вид индустрии развлечений, который раньше не существовал. 

 

Персонаж Сенуи в атмосферном окружении Hellblade

 

 
Для кого же это? 

Встаёт вопрос: а насколько доступно это для разработчиков? Хотя игра Hellblade создаётся командой всего из 16 человек, реал-тайм достижения студии Ninja Theory требуют самых передовых технологий. Это плод сотрудничества: сканирование лица и анимацию осуществляют 3lateral и Cubic motion, компания House of Moves обеспечивает передачу захваченных движений на персонажа, ну а IKinema отвечает за сам захват движения. 

 
Но в то же время, движок Unreal Engine бесплатен, ободряет Ким будущих разработчиков. "Скачайте его и начинайте играть", - настаивает он. И добавляет: "Unreal - это не игрушка. Он создан для профессионалов самого высокого уровня... Конечно, путешествие по сверхъестественному миру или создание анимации лица, построенной на эффектах - это не то, к чему я призываю стремиться простых любителей. Но если кто-то жаждет овладеть этим движком - он может добиться превосходных результатов" 

Орудия труда

 

Ким Лайбрери поясняет, что в Unreal Engine есть Sequencer, инструмент для создания видео, и его возможности можно расширить. Sequencer - редактор видео в реал-тайме, который работает подобно традиционным кинематографическим пакетам приложений.

 
- Мы хотели сделать так, чтобы в него можно было предельно просто помещать кадры и редактировать их. Например, вы снимаете крупным планом лицо персонажа, чтобы передать его реплику в диалоге. И вам захотелось настроить композицию объектов в кадре, чтобы они хорошо смотрелись. Sequencer, в целом, позволяет вам сделать это согласно вашей задумке, и запоминает ваши действия в каждом кадре.  
Передача видео в реал-тайме также очень важна. "Получается, что запись с камеры почти сразу идёт в редактор", - говорит Ким, который поясняет, что весь материал по захвату игры актрисы, отснятый для Hellblade, записывался и редактировался нелинейным способом. - "Вы никогда не смогли бы сделать так, используя традиционные CG-технологии" 

Ким поясняет: "Мы взяли эти две различные технологии, которые в обычных условиях не пересекаются, и объединили их в общий пайплайн. Это позволило нам сделать невозможное - мы создали виртуальную копию Сенуи, которая играла рядом с ещё одной копией самой себя. Это просто фантастика!"

 
Статья из журнала 3D World №11 за 2016 г. Перевод Володько Ивана - visschool.ruПубликация перевода на других сайтах без уведомления руководства visschool.ru запрещена! 

 

Еще видео:

 

 

Никита Ивановский
Никита Ивановский

Оставьте комментарий

Комментарии могут оставлять только зарегистрированные пользователи

Вход в личный кабинет

Введите ваш почтовый адрес и пароль

Обратный звонок

Введите данные для связи и мы вам перезвоним

Я даю согласие на обработку персональных данных и подтверждаю согласие с политикой конфиденциальности

Задать вопрос

Введите ваш вопрос

Я даю согласие на обработку персональных данных и подтверждаю согласие с политикой конфиденциальности