понедельник, 23 февраля 2009 г.

Программы для композитинга и создания визуальных эффектов

часть 3

Adobe After Effects CS4.

Начнем наш обзор программ с, безусловно, одной из самых популярных - Adobe After Effects. На данный момент ее текущая версия – CS4 (9.0). Основная сфера ее применения – создание анимированной графики, видео- и кино пост-продакшен.

Первоначально программа была создана американской компанией CoSA (the Company of Science and Art). Версия 1.0 вышла в январе 1993 года. Но в июле 1993 года компанию CoSA купила известная в те времена Aldus corporation, которую, в свою очередь, в 1994, приобрела уже фирма Adobe, вместе с программой для верстки PageMaker и After Effects. Под брендом Adobe After Effects выходит в 1995 году уже с версии 3.0. Первоначально программа работала только на платформе Mac. И лишь в мае 1997 появилась и Windows-версия Adobe After Effects 3.1. В сентябре 2008 Adobe выпустила обновленный пакет своих программ Creative Suite 4 (CS4). After Effects CS4 входит в состав Master Collection CS4 и Production Premium CS4.

After Effects CS4

Своей популярностью After Effects обязан, не в последнюю очередь, отличному взаимодействию с другими программами Adobe – Premiere Pro, Photoshop, Illustrator и др. Таким образом, такие пакеты программ как Production Prenium CS4 как бы превращаются в некую суперпрограмму.

Что же нового появилось в After Effects CS4?

Функция Adobe Dynamic Link добавила еще более мощную интеграцию между программами Adobe Creative Suite 4 Production Premium. Теперь можно открывать сложные проектов Adobe Premiere Pro CS4, включая вложенные последовательности в After Effects CS4. Наконец, прямо с таймлайна Premiere Pro можно отослать один или несколько файлов прямо в After Effects CS4.

Улучшена интеграция с Adobe Encore CS4, Adobe Bridge CS4, Adobe Illustrator CS4, а также Adobe Flash CS4 Professional через команду File > Export > Adobe Flash Professional (XFL).

Также улучшена интеграция с Adobe Device Central CS4. В Adobe After Effects CS4 Professional может создавать и просчитывать сразу несколько композиций для различных мобильных устройств. (Видно бум мобильного ТВ уже не за горами).

Функции поиска теперь доступна как для таймлайн, так и в окне проекта. Улучшилась навигация по вложенным композициям.

Расширены опции 3D композитинга, включая импорт 3D слоев из Adobe Photoshop CS4 Extended. Теперь файлы из 3D MAX и Maya можно импортировать через Photoshop, предварительно раскрасив их там. Добавлен новый фильтр для создания мультипликации из реального изображения – Cartoon.

Улучшенна работа с 3D пространством, включая раздельную работу с ключевыми кадрами по осям x, y, z.

Расширена поддержка OpenGL-ускорения, которая включает: blending modes, motion blur, anti-aliasing, track mattes, high-quality shadows и transparency, а также ускоренный просчет обычных эффектов. Это ускоряет создание предварительного просмотра.

Расширена работа с Shape Layers. Добавлена возможность конвертировать текст в shape paths или mask paths.

Поддержка для Adobe Pixel Bender. В программе есть более 250 анимированных текстовых пресетов. Теперь доступно отображение зон безопасности 4:3 в широкоэкранных композициях. Добавлена поддержка сервиса Adobe Community Help.

В комплекте с программой также идут: Color Finesse Synthetic Aperture, CycoreFX, The Foundry Keylight, Imagineer Systems Mocha.

mocha

Видимо, так и не сумев довести до ума модуль трекинга в АЕ, Adobe пошла по уже проторенному пути – покупки более совершенных плагинов, тем более, что Mocha -  отличный 2.5D трекер.

Apple Shake

clip_image002

Фирма Apple выпускает как программу для композитинга и пост-продакшена Shake, так и программу, предназначенную, в основном, для создания анимированной графики – Motion. Хотя Shake, в отличии от Motion, в состав Final Cut Studio не входит, тем не менее, вы можете отправить видеофайл прямо с таймлайн видеоредактора Final Cut Pro непосредственно в Shake для его дальнейшей обработки.

В настоящее время программа Shake доступна для платформ Mac OS X и Linux. Ее текущая версия - 4.1. Ранее Apple Shake выпускалась также и под IRIX, и под Windows (последняя Windows-версия 2.51). Интерфейс программы основывается на создании эффектов путем применения комплекса последовательных действий над изображением или его определенной частью. Каждое действие, которое производится над изображением называется в Shake "Node" - узел. Применение нодов обеспечивает максимальную гибкость в использовании, поскольку у вас есть возможность изменять любой эффект на любой стадии редактирования и тут же видеть результат этих изменений.

Shake был разработан программистами и супервайзерами из Sony Imageworks – Эрнодом Хервесом (Arnaud Hervas), Роном Бринкманом (Ron Brinkmann), автором одной из лучших книг по композитингу (The Art and Science of Digital Compositing) и другими. В 1997 году компания Nothing Real, одним из основателей которой являлся тот самый программист Эрнод Хервес выпустила Shake, в качестве своего ведущего продукта. Вторая версия Shake появилась в 1999 году по цене 9900 долларов за лицензию. Приложение работало под управлением Windows NT и Irix.

В 2002 года фирма Apple приобрела Nothing Real. Несколько месяцев спустя была выпущена версия 2.5, в которой впервые появилась поддержка Mac OS X. Чтобы укрепить позицию платформы Mac в области студийной пост-обработки видео, Apple установила более низкую цену на Mac-версию этого продукта, - 4950 долларов. В 2003 была выпущена третья версия Shake, с которой прекратилась поддержка Windows. В ней были добавлены неограниченные сетевые рендер-клиенты без доплаты. Год спустя, на выставке NAB Apple представила Shake 3.5, цена которого для Mac OS X составила 2999 долларов, а для Linux и Irix 4999 долларов.

В апреле 2005 была выпущена версия 4, в которой появился ряд новых возможностей, таких как трехмерный композитинг, 32-битный кеинг (Keylight и Primatte Keyers), Optical Flow (эффект тайм-ремаппинг – искажение времени) стабилизатор изображения. Также была добавлена тесная интеграция с Final Cut Pro 5, расширяемый скриптовый язык и SDK. Четвертая версии под Irix уже не вышла.

На выставке NAB в апреле 2006 года Apple анонсировала Shake 4.1 в котором уже была добавлена совместимость с Intel Mac-ами (она стала Universal Binary). Apple пошла на смелый маркетинговый шаг, (который впоследствии повторяла уже несколько раз с другими приобретенными ею программами) снизив цену до 499$ за полную версию с неограниченной рендер-лицензией.

Дальнейшая судьба этого одного из лучших пакетов для композитинга пока неизвестна. Apple заявила, что в будущем поддержка Shake будет прекращена. По информации, циркулирующей в Интернет, Apple якобы разрабатывает новый продукт под кодовым название Phenomenon. С другой стороны, отдельный модули Shake появились в других продуктах Apple Final Cut Studio. Так стабилизатор изображения SmoothCam отныне встроен в Final Cut Pro 6, а функция создания отсутствующих кадров для замедленного движения (Optical Flow) появилась в Motion 3. Возможно Apple «разберет на запчасти» всю программу или перенесет большую ее часть, скажем, в Motion 4. Нам остается только надеяться, что Apple примет мудрое и взвешенное решение. Ведь до сих пор у нас на некоторых студиях активно используется еще последняя Windows-версия 2.51 !

Shake 4.1

Среди фильмов, в работе над которыми использовался Shake такие известные голливудские блокбастер, как «Властелин колец» и «Кинг-Конг» режиссера Питера Джексона, «Война миров» Стивена Спилберга, «Пираты Карибского моря 2» и многие другие. Ведь сильной стороной Shake всегда была работа с видеоформатами очень высокого разрешения, такими, как 2К, 4К и IMAX.

С помощью Shake, также создается много клипов и рекламы, например, запоминающийся рекламный ролик о новом автомобиле Citroën, который по ходу действия превращался в этакого танцующего робота-трансформера.

Хочется надеяться, что и в будущем, фильмы и клипы, которые будут созданы с помощью Shake, потрясут нас (кстати, одно из значений английского слова shake - это «потрясать»).

Avid DS

clip_image002[5]

Система для высококачественного композитинга и пост-продакшена в режиме онлайн Avid DS на сегодня имеет версию 10. Свое происхождение она ведет от программы Softimage DS, созданной в одноименной монреальской компании в 1998 году и тогда же приобретенной Avid. Позже, Avid соединил в этом продукте наработки из других программ – ElasticReality, Avid Marquee и др.

DS84_Interface

Тесное взаимодействие с другими решениями от Avid – Avid Interplay, Avid Unity и Avid Media Composer делает Avid DS ключевым звеном всего процесса пост-производства. Поддержка таких форматов обмена проектными данными, как AAF, EDL и OMF позволяет Avid DS успешно работать на стадии чернового монтажа и с продуктами других компаний.

Avid DS позволяет работать с двумя некомпрессированными HD-4:2:2 или 8 некомпрессированными SD видеопотоками с первичной цветокоррекцией в реальном времени, реал-тайм DVE, и с возможностью работы в реальном времени с титрами и графикой на каждом видеопотоке. Можно также микшировать SD и HD с разными частотами кадров на одной и той же таймлайн.

Что нового появилось в Avid DS v10:

Новая платформа – рабочая станция HP xw8600, Nvidia FX 3700, Dual-link I/O card & Avid VideoRaid SR storage;

Новая высокопроизводительная, базирующаяся на GPU система для primary & advanced color correction, DVE-эффектов, переходов, color limiting, и приложений 1D & 3D LUTs;

Система управления цветом с 1D & 3D LUTs, включая Thomson, Kodak, и Iridias LUT форматы;

Вторичная цветокоррекция в стиле Symphony;

DPX conform из Avid Media Composer с использованием Avid AFE;

Поддержка форматов 1080p50 & 1080p59.94 (включая новые DNxHD форматы: DNxHD 90, 290 & 440);

Поддержка Avid Interplay;

Возможность создания стереоскопического контента.

 

Autodesk

Фирма Autodesk является одним из крупнейших производителей решений для цифрового композитинга и предлагает целое семейство программ в различных ценовых классах.

В нижней ценовой категории (цена - US$995 ) она предлагает программу Combustion 2008 для создания анимированной графики, композитинга и визуальных эффектов. Combustion издавна считался конкурентом именно Adobe After Effects. Среди его преимуществ - timeline-based интерфейс, схожий с интерфейсами таких программ high-end класса от Autodesk, как Inferno, Flame and Flint. Самая главная новинка в Combustion 2008 – инструментов для цветокоррекции Color Warper, использующийся в Autodesk Flame, также улучшен Schematic-вид и интеграция с Adobe Photoshop and Adobe Illustrator.

Однако настоящую известность принесли Autodesk такие высокопроизводительные решения для монтажа, композитинга и интерактивного дизайна в режиме реального времени, как Autodesk Flint, Flame & Inferno, Smoke и Toxik. Эта системная линейка имеет аббревиатуры - IFFFS (Inferno/Flint/Fire/Flame/Smoke), FFI или FFFI (Flint, Fire, Flame, Inferno).

Smoke_2

Autodesk Smoke 2009 – интегрированная система для монтажа и окончательной обработки фильмов класса SD, HD, 2K и выше.

Autodesk Flame 2009 - система для создания визуальных эффектов и композитинга в режиме реального времени, совместимая с Autodesk Lustre и Autodesk Smoke.

Autodesk Inferno 2009 – «топовая» система для композитинга, создания анимированной графики и онлайн-дизайна с полностью интерактивной 3D-средой для композитинга.

Autodesk Toxik 2008 - решение для композитинга киноматериала в режиме реального времени, поддерживающее глубокую интеграцию с Autodesk Maya и другими 3D-приложениями.

Autodesk Flint 2009 - Передовая система для создания визуальных эффектов и теледизайна.

eyeon Fusion

Fusion (бывший Digital Fusion) – это мощная программа для композитинга с нод-интерфейсом, созданная eyeon Software Inc. Анонсирован выпуск 6-ой версии программы.

Fusion был использован при создании множества фильмов и телевизионных программ: «Мистер и миссис Смит», «Посейдон», «Город Греха», «Небесный капитан и мир будущего», «Дети шпионов»-2, «Авиатор», «300», сериала «Lost» и др. Существует и «урезанная» бюджетная версия программы, носящая название DFX+.

vlcsnap-66141

Что же нового появилось в 6 версии eyeon Fusion?

- Поддержка стереомониторов, стереорендеринг с использованием собственных 3D-инструментов;

- Улучшенная работа с каналами, поддержка многослойных EXR;

- Усовершенствованные шейдеры для 3D, такие как Blinn, Phong, Cook-Torrance, Ward;

- Возможность использования Bump Map в 3D;

- Инструмент для UV-маппинга;

- Возможность экспорта 3D инструментов (геометрия, источники света, камеры) в FBX с сохранением анимации;

- Region Of Interest Domain System, позволяющая рендерить только заданную область кадра, что важно при работе над детализированными кадрами в высоком разрешении.

 

Foundry Nuke

clip_image002[7]

Nuke это основанная на использовании нодов программа для композитинга, которую выпускает фирма The Foundry. Nuke доступна как для Microsoft Windows, так и для Mac OS X (PPC и Intel) и Linux. С Nuke работают такие крупнейшие компании в сфере пост-обработки и создания спецэффектов, как Digital Domain, Mr X и Weta Digital. Nuke использовался при работе над фильмами - «Кинг-Конг», «Я, робот», «Резиденция дьявола: Extinction» и др.

Программа Nuke (название сложено из букв слов «new compositor», а само слово можно перевести как «бомба») была создана Биллом Спитцаком (Bill Spitzak) как продукт для внутренней работы в фирме Digital Domain в 1993 году. Позже, в 1998 году продукт стал известен, как GNU LGPL. В 2001 году программа получила специальный технический Оскар (Academy Award for Technical Achievement).

В 2002 Nuke стал доступен и для других компаний под логотипом D2 Software. В декабре 2005 D2 Software выпустил Nuke 4.5, в котором появилась новая 3D подсистема. В 2007 Nuke купила лондонская фирма The Foundry, известная своими плагинами для многих программ композитинга.

The Foundry выпустила Nuke 4.7 в январе 2007, а Nuke 5 - в начале 2008. В программе изменился интерфейс, добавлена поддержка скриптов Python и возможность создания стереоскопической продукции. Nuke поддерживает использование The Foundry plug-in через поддержку стандарта OpenFX. Недавно команда создателей Nuke пополнилась легендарным Роном Бринкманом – человеком, стоявшим у истоков Shake. Так что, судя по-всему, Nuke – становиться одной из самых перспективных программ для композитинга.

 

­clip_image002[9]

Quantel – компания, расположенная в Великобритании и основанная 1973 году, специализируется на оборудовании для теле-, видеопроизводства и пост-продакшена. В 1976 во время телетрасляции открытия летних олимпийских игр в Монреале с помощью оборудования Quantel (Digital framestore synchroniser - DFS 3000) впервые демонстрировался телеэффект «картинка в картинке» - несущий олимпийский факел спортсмен на фоне стадиона. Известность Quantel принесли такие передовые для своего времени продукты, служащие для создания телевизионной графики и композитинга, как Paintbox (1981), Harry(1985), HAL (1992), Henry(1992), Editbox (1993). На данный момент основными продуктами Quantel в сфере пост-производства являются:

iQ – система для пост-обработки кинофильмов и DI (digital intermediate);

eQ - система для пост-производства телепродукции и создания ТВ-рекламы;

Pablo – система цветокоррекции;

Главное различие между системами eQ и iQ – это поддерживаемые программами форматы и разрешения видеоматериала.

iQ

iQ позволяет работать с разрешением до 4К и создавать стереоскопический контент (Stereoscopic 3D).

Quatel specification

*****

И в заключении нашего обзора упомянем еще несколько программ композитинга. К сожалению, прекращено развитие программы Pinnacle Commotion – которая в свое время считалась серьезным конкурентом для After Effects и в арсенале которой были прекрасные инструменты для ротоскопинга и трекинга. Последняя версия программы - 4.1

Семейство плагинов от фирмы Boris FX, в частности Boris RED 4.3 которого одни считают продвинутым плагином, другие самостоятельной системой для создания эффектов и композитинга.

Удивительно, но существует и абсолютно бесплатная система для композитинга – Jahshaka, использующая аппаратную реализацию OpenGL и OpenML для обеспечения интерактивной работы в реальном времени. Распространяется по лицензии GPL. Jahshaka первая в мире система для редактирования видео и наложения спецэффектов в реальном времени с открытым исходным кодом. Существуют версии для GNU/Linux, Microsoft Windows NT и Mac OS X. Финальный публичный релиз программы получил номер 3.0 и, помимо уже перечисленных функций работы с графикой и видео, обрёл средства для обработки звуковых материалов. После выхода второй версии у разработчиков были проблемы из-за «недальновидности спонсоров» но 17 января 2008 года проект объявил об своем освобождении и готовности к дальнейшему развитию.

Недорогая программа FXHome CompositeLab Pro, позиционирующаяся как инструмент для тех, кто только начинает работать в сфере композитинга, имеет модуль для кеинга, систему для создания эффектов частиц (particles) и т.д. Текущая версия программы – 1.005.012 доступна для платформ Windows XP и MacOS.

Как видите – каждый сможет выбрать себе программу композитингу как по вкусу, так и по финансовым возможностям. А все остальное зависит только от вашего умения и фантазии.

воскресенье, 22 февраля 2009 г.

Программы для композитинга и создания визуальных эффектов.

часть 2

начало - ниже

Предыстория цифрового композитинга.

Летом 1857 года фотограф Оскар Густав Рейландер, родившийся в Швеции и работавший в Англии, скомбинировал изображения из 32 различных стеклянных негативов для создания цельной фотокомпозиции «Два пути жизни» (The Two Ways of Life).

Оскар Гюстав Рейландер (Oscar Gustave Rejlander), Два пути жизни

Рейландера интересовала техника создания неподвижного многофигурного снимка, ведь достаточно было кому-либо из его статистов пошевелиться, как весь многотрудный процесс шел насмарку (ведь время экспозиции снимка тогда составляли не доли секунды, как сейчас, а минуты!).

Художнику удалось справился с этой фантастической, по тем временам, задачей. Он снимал групповые сцены несколько раз. Модели, которые на снимке получились размытыми, он решил заменить более четким изображением, взятым с другого негатива. Затем все их он напечатал на финальный позитив. Размер получившегося изображения составил 41 х 79 см. Это был не только один из первых примеров применения фотомонтажа, но и зарождением композитинга, поскольку из нескольких отдельных снимков создавалось единое, цельное, бесшовное изображение.

Появление кино позволило продолжать эксперименты фотографии, но уже с движущимся изображением. В киноведении давно существует теория о двух ипостасях кино, у истоков которых стояли отцы-основатели этого искусства. От первых фильмов братьев Люмьер ведет свою родословную кинематограф, как фиксатор окружающей нас реальности. От Жоржа Мельеса – кино, как создать новой «виртуальной» реальности. Не удивительно, что именно Жоржу Мельесу мы обязаны появление таких первых киноспецэффектов, как наплывы, двойные экспозиции и т.д.

В 20-е годы появление авангардного искусства распространило эксперименты по созданию составных, скомпонированных из различных источников изображений не только на кино (фильмы сюрреалистов, французского авангарда, советское и немецкое экспрессионистское кино, широко использовавших наплывы, двойные экспозиции и т.д.), но и на живопись (коллаж), и фотографию (фотомонтажи А.Родченка, Эль Лисицкого)

clip_image002  clip_image002[5]

Кадры из фильма создателя теории «киноглаза» Дзиги Вертова «Человек с киноаппаратом»

В рамках нашей статьи мы не будем подробно останавливаться на истории развития технологий кинокомпозитинга, упомянем лишь две из них - рирпроекцию и оптическую печать, которые имеют продолжение в современном цифровом композитинге.

clip_image002

Вершиной развития технологий оптического кинокомпозитинга можно считать фильмы Стэнли Кубрика «Космическая Одиссея 2001» (2001: A Space Odyssey) и Джорджа Лукаса «Звездные Войны» (Star Wars), при создании которых использовали весь доступный на то время арсенал создания киноэффектов – съемку макетов, рир-проекцию, «блуждающие маски» и т.д. В это трудно поверить сегодня, но все это было снято без использования компьютеров и 3D-графики!

Однако в конце 80-хх, начале 90-хх компьютерные технологии начинают проникать и в кино- и телепроизводство. В 1981 году фирма Quantel выпускает Paintbox - систему для создания телевизионной графики.

Paintbox

Среди первых пользователей этой системы – такие каналы, как MTV и Weather Channel. Любопытно, что некоторые из этих системы работают до сих пор! В 1986 на телеканале BBC был даже сделан фильм "Painting With Light" в котором несколько английских художников рисовали с помощью Paintbox свои картины.

В 1985 году Quantel выпускает Harry - первую систему для композитинга и монтажа видео.

hal

Учитывая технические параметры компьютеров того времени не удивительно, что Harry мог записывать лишь около 80 секунд несжатого 8-битного видео в формате D1 CCIR 601. И все же это была настоящая визуальная революция – достаточно вспомнить абсолютно новую телевизионную эстетку MTV, которая вряд ли бы могла появилась без Quantel. Однако стоили эти устройства очень дорого и поэтому позволить купить их себе могли только крупные телекомпании.

Впрочем, в середине 90-хх происходит другая, поначалу незаметная «бархатная революция», (как назвал ее исследователь новых медиа Лев Манович) связанная с появлением таких недорогих приложений, как Adobe After Effects, которая сделала доступным композитинг и для домашних компьютеров.

О понятие цифрового композитинга впервые заговорили в 1984 году двое ученых, работавших в телекомпании Lucas Film Томас Портер и Том Дафф. Они увидели параллели между процессами композитинга и компьютерного программирования. В обеих случаях разбиение цельного изображения на составные элементы позволяло значительно ускорить процесс рендеринга.

Сегодня киносъемка, благодаря процессу DI (Digital Intermediate), превращается лишь в первый этап пост-продакшена. Отснятый материал – это не готовый продукт, как раньше, а лишь исходный объект для дальнейшей обработки в компьютерных программах. В наши дни часто фильм снимается всего лишь 1-2 месяца, а за этим следует год-полтора пост-продакшена.

Мы можем говорить о появлении нового феномена – цифрового (дигитального) кино. Смена технологий кино-, телепроизводства приводит и к смене визуальной эстетики.

Лев Манович[1], дает такое определение дигитальному фильму:

Дигитальный фильм = отснятый «вживую» материал + рисование + обработка изображения + композитинг + компьютерная 2-D анимация + компьютерная 3-D анимация.

Или в более общем случае:

Дигитальный фильм = f (x,y,t)

где, x и y – пространственные координаты пикселей, из которых состоит изображение, t – время. Поскольку компьютер разбивает каждый кадр на пиксели, в целом фильм может определен, как функция, которая задает горизонтальные, вертикальные и временные координаты для цвета каждого пикселя. Ведь для компьютерных программ фильм - это абстрактное пространственное расположение цветных пикселей, изменяющих во времени, а не некая структура, состоящая из «кадров», «повествования», «актеров».

Посему можно немного видоизменить формулу на

Дигитальный фильм = f [(x,y,c),t]

добавив с – цвет (color) пикселя с координатами x,y.

Цифровое кино – это, по - сути дела, лишь частный случай анимации, который использует заснятую на пленку «живую» реальность, лишь как один из множества составляющих элементов. Парадокс заключается в том, что родившись из анимации кино сначала вытеснило ее на периферию визуального мейнстрима, чтобы сегодня снова стать частным случаем анимации…

Вместо «киноглаза», бесстрастно фиксирующего окружающую реальность - «кино-кисть», создающая, с помощью «цифрового мольберта» – программ композитинга реальность новую. Сегодня кино, по-сути, превращается в цифровую живопись во времени….


[1] Lev Manovich “The Language of New Media”, MIT Press, 2001, p.301-302

 

Программы для композитинга

Поскольку в процессе композитинга выполняются очень ресурсоемкие операции над изображением, которое к тому же, чаще всего, снято в высоких разрешениях (2К, и даже 4К), необходимы мощные рабочие станции и специальные аппаратные ускорители, которые бы свели к минимуму время просчета визуальных эффектов. Поэтому, часть программ композитинга (software-orientation) полагается исключительно на ресурсы компьютера (Adobe After Effects, Apple Shake), а другая (hardware-accelerate) может работать только с использованием дополнительного «железа» (Autodesk Flame, Inferno). Наличие ускорителей позволяет работать почти в режиме реального времени, практически сразу видя результат примененных эффектов. Однако за «реалтайм» приходится платить довольно дорого – стоимость таких «хардварных» систем композитинга составляет от нескольких десятков до нескольких сотен тысяч долларов. Например, одна монтажная смена на Flame обойдется в 800-1000$. А это сопоставимо со стоимостью софтверных программ композитинга! Здесь фраза «Время-деньги» приобретает буквальный смысл. Если вам нужно срочно смонтировать клип с массой видеоэффектов – заплатите несколько тысяч и вы получите его через пару дней работы на Flame. Хотите получить такие же эффекты, потратив меньше денег – работайте в After Effects или Shake. Но готовый клип вы увидите лишь через несколько недель!

Что касается используемого интерфейса (GUI), то здесь программы для композитинга делятся на 2 класса: основанные на работе со слоями (Layer-Based Compositors) или на работе с узлами (Node-Based Compositors).

У программ композитинга, ориентированных на работу со слоями (Adobe After Effects, Autodesk Combustion) каждый медиа-объект (видео-, аудиклип, статичное изображение) размещен на своем отдельном слое-треке.

Timeline AECS4  Tаймлайн программы Adobe After Effects CS4

В программах же нелинейного (NLE) видеомонтажа на одном треке может быть размещено несколько медиа-объектов (видеоклипов), которые только лишь не должны пересекаться по значениям времени на таймлайне.

 Timline Premiere CS4

Таймлайн видеоредактора Adobe Premiere CS4

Это позволяет делать сами проекты более компактными и удобными для работе с ними видеомонтажерам. Поэтому «сердцем» программ нелинейного монтажа является таймлайн, можно даже сказать, что они – «таймлайн-ориентированные» программы.

У программ композитинга центральным является окно Composition, где мы можем размещать наши медиа-объекты в 2-х мерном (2D), и даже трехмерном (3D) пространстве и анимировать их перемещение во времени. Наличие же многослойной таймлайн, скажем, у того же After Effects, позволяет ему очень эффективно работать с материалом, требующего, чуть ли не покадровой анимации с применением ключевых кадров – анимированной графикой, заставками, титрами и т.д.

Однако, если дело касается создания сложных композиций, с десятками используемых эффектов, то здесь лучше применять программы композитинга, ориентированные на работу с узлами (node) (Apple Shake, eyeon Fusion, Foundry Nuke). Они представляют примененные к медиа-файлу эффекты в виде древовидного интерфейса, где в качестве иконок (нодов) и отображаются эффекты. В After Effects было бы очень сложно работать с такими проектами, использующими большое количество слоев и эффектов. Однако определенным недостатком программ для нод-композитинга являются довольно скромные возможности работы с таймлайн. То есть, анимированную графику в них создавать довольно неудобно.

Titanik Final

Кадр из фильма «Титаник» (1997) и составные части скомпонованного изображения:

Titanic miniatur

Отснятый макет корабля

Titanic CG sky ocean

Сгенерированные с помощью компьютера море и небо

Titanic Script

А так выглядит скрипт этой сцены в программе nod-композитинга Nuke

 

Что ж, у каждого вида программ композитинга – свои задачи и цели. Впрочем, они могут гораздо больше, чем просто соединять несколько изображений в одно. У них в арсенале, кроме базовых инструментов для композитинга, таких, как кеинг, цветокоррекция, трекинг, режимы смешения слоев, есть и масса других, для выполнения более специализированных операций, скажем, морфинга или варпинга. У некоторых программ, например, есть инструменты для интеллектуального рисования масок и их можно использовать для высококачественного ротоскопинга – покадровой прорисовки масок. Некоторые функции лучше делают специальные подключаемые плагины. Неудивительно, что их цена иногда сопоставима со стоимостью самой программы композитинга!

Итак, перейдем к рассмотрению собственно программ для композитинга.

(Окончание следует)

суббота, 21 февраля 2009 г.

Программы для композитинга и создания визуальных эффектов.

(Статья опубликована в журнале “ТВ технологии” N6 2008)
Сегодня трудно представить себе крупнобюджетный художественный фильм, музыкальный видеоклип, рекламный ролик, красочную анимированную графику при создании которых не использовались бы программы композитинга. Цифровой композитинг (Digital Compositing) – это важная составляющая в создании визуальных спецэффектов (VFX – Visual effects).
Как снять героя в одном месте (скажем, в павильоне), а затем использовав имеющиеся в распоряжении художника технологии, заменить все окружающее его пространство, на некий сказочный замок, непроходимые джунгли или пейзаж другой планеты, другими словами, как бы перенести героя в другое место – над решением этой проблемой творцы киноэффектов бились с самого рождения кино.
Кроме того, часто в отснятое изображение необходимо внести определенные коррективы, – убрать из кадра лишние объекты, заменить их другими, сделать цветокоррекцию и т.д. Вот для решения подобных задач и созданы программы цифрового композитинга. То есть, цифровой композитинг – это компоновка, соединение изображений, взятых из различных источников в целостную, «бесшовную» картинку.
Рон Бринкман (Ron Brinkmann), автор книги «Искусство и наука цифрового композитинга» дает ему такое определение:
«Цифровой композитинг – это комбинирование с помощью цифровой обработки изображений, как минимум, из двух источников для получения целостного результата»[1].
Айзек В. Керлоу, один из пионеров компьютерной анимации, дает схожее определение:
«Композитинг изображений состоит в комбинировании двух или более разных изображений в одно, причем таким образом, что создается иллюзия единого пространства и времени: кажется, что все изображения имеют место в одно и то же время и в одном и том же месте и были сняты (записаны) одновременно»[2].
То есть, при композитинге должна обеспечиваться иллюзия единства места и времени происходящего в кадре.
Наиболее часто применяемые технологии для композитинга – это кеинг – съемка героев на синем или зеленом фоне с последующей заменой фона на необходимое вам изображение. Скажем, на телевидение практически все телеканалы – от мала до велика, используют кеинг при показе прогнозов погоды, когда ведущий воодушевленно разгоняет компьютерные тучи руками.
Эту технологию часто по-привычке и неточно называют «рирпроекцией». Этот термин пришел на телевидение из кино, где во время киносъемки на задний фон за спинами героев действительно проецировали с помощью кинопроектора предварительно снятое на пленку изображение.
King-Kong-rawPlate
Сцена, снятая в павильйоне
King-Kong-Final
Эта же сцена после композитинга
Фильм “Кинг Конг” реж. Питер Джексон

Сегодня, кроме кеинга, еще одним из главных направлений развития композитинга является соединение в одном кадре изображений созданный компьютером - Сomputer Generated Image (CGI) с действием и актерами, снятыми «вживую», обычно на фоне синего или зеленого экрана.
Итак, основные сферы, где сегодня применяется композитинг:
Цифровой композитинг CGI включает в себя такие наиболее распространенные задачи:
1) Собственно говоря, CGI Compositing – как мы уже говорили, это соединение объектов, созданных в программах 3D-графики, с задним фоном, в качестве которого обычно служит снятый на пленку пейзаж или актеры. Сегодня с помощью трехмерной графики создают не только динозавров, космические корабли или монстров. Гораздо сложнее оказалось смоделировать окружающий нас мир – создать фотореалистичные человеческие волосы, кожу, а компьютерным персонажам повторить обычную человеческую походку. Моделируют также и природные явления – облака, огонь, дым, удар молнии, воду. В кино появились даже «цифровые дублеры», заменяющие не только высокооплачиваемых звезд в опасных трюках, но и «живых» дублеров, если трюк действительно может оказаться для них смертельным.
2) Расширение декораций (Set Extension) – Сейчас больше нет необходимости возводить дорогостоящие декорации фантастических замков или городов будущего. Достаточно создать небольшое «реальное» окружение для актеров, а затем в программах 3D-графики «достроить» все остальное. В кино раньше тоже иногда дорисовывали чудесные дворцы или инопланетные пейзажи, но все равно наметанный глаз кинозрителя (а уж тем более современного) ощутит некую разноплановость этих элементов.
vlcsnap-74845
vlcsnap-76535
В современных программах композитинга, где собирают все элементы сцены вместе, согласовывают их по освещению, добавляют атмосферные явления (дымку, туман), делают цветокоррекцию, чтобы зрители не заметили никаких «швов» в изображении.
3) Согласование движения (Match Move). Современные режиссеры не любят съемок статичной камерой. О сценах погонь и перестрелок в современных боевиках можно и не говорить. Но даже в спокойных и камерных сценах съемочная камера обычно немножко движется, чтобы все время «оживлять» картинку. Однако, если у нашего героя не реальное, а «виртуальное» 3D окружение, то необходимо так согласовать перемещение камеры с виртуальными декорациями, чтобы зрители этого не заметили. Часто встречается и противоположная задачу – поместить 3D объект, скажем Кинг-Конга, на снятые движущейся камерой улицы Нью-Йорка. Эту операцию согласования (Match Move) и делают в программах композитинга.
Впрочем, композитинг позволяет решать не только проблемы, связанные с 3D- персонажами. Много работы и над снятой камерой окружающей нас реальностью. Особенно интересен композитинг визуальных эффектов, которые решает такие, наиболее часто встречающиеся задачи:
1) Кеинг - классическая работа для программ композитинга - съемка персонажей на синем или зеленом фоне, с последующей заменой его на снятое в другом месте или сгенерированное на компьютере изображение.
2) Motion Tracking – «привязка» изображения к какому-то движущемуся предмету. Скажем, замена логотипа на движущемся автомобиле, или замена картинке на компьютерном мониторе, который виден в снятом кадре. Сюда же относиться и стабилизация камеры, - если во время съемок с руки камера тряслась, то применение этого эффекта позволит компенсировать это дрожание и сделать изображение более стабильным.
3) Варпинг и морфинг (Warping and Morphing) – Варпинг – это искажение изображения по определенным алгоритмам. На изображение как бы одевается деформирующая сетка и мы можем его растягивать, или сжимать, потянув за узелки этой сетки. Варпинг часто используют, чтобы разместить рекламный логотип не на ровной поверхности, а на бутылке или шаре. Что касается морфинга, то достаточно вспомнить клип Майкла Джексона «Black and White», где в финале люди разных рас и полов на наших глазах превращались друг в друга. Такой плавный переход одного изображения в другое и в рекламных роликах стал уже избитым приемом.
clip_image002
4) Bullet Time Shots – «Время полета пули» - эффект, ставший популярным благодаря трилогии «Матрица». Время как бы сильно замедляет свой ход и мы видим как герой Кину Ривза уклоняется от пули, а камера успевает совершить облет героя. Или во время занятий восточными единоборствами герои словно зависают в прыжке и камера объезжает вокруг них. Затем нормальное течение времени восстанавливается. И самое главное – мы не видим ни одной монтажной склейки. Такое замедление и ускорение времени получило название Time Warping или Retaiming. Понятно, что никакая кинокамера не способна так быстро двигаться в реальности.
clip_image002[6]
Вместо нее вокруг снимаемого персонажа размещается несколько десятков фотокамер, работа которых синхронизируется с помощью компьютера.
Другая технология «работы со временем», носящая название optical flow, также используется во многих программах композитинга. Если вы сняли эпизод на кинопленку со скоростью 24 кадра в секунду и хотите замедлить движение, то, скажем, в программах видеомонтажа вы получите стробированное движение, поскольку программа просто повторит одни и те же кадры по нескольку раз. Применение технологии optical flow, которая анализирует векторы движения объектов в кадре и позволяет создать промежуточные кадры для получения более плавного замедленного движения.
1) Создание толпы (Crowd Duplication) – многотысячные массовки сегодня в кино можно спокойно заменить несколькими десятками статистов, «размножив» их в программах композитинга.
2) Создание атмосферных явлений – дыма, огня, тумана, снега, дождя и т.д. и добавление их в кинокадры. Для этого часто используют специальные генераторы частиц (Particles).
3) Ротоскопинг (Rotoscoping) – ручное рисование масок в композитинге. Если вы не смогли снять героев на фоне синего экрана, то есть прокеить изображение невозможно, а вам необходимо поменять в кадре задний план – тогда наступает очередь ростоскопинга – рисования вокруг героя маски вручную, кадр за кадром.
4) Убирание подвесок (Wire Removal) – часто головокружительный прыжки или падения на съемочной площадке герои совершают, подвешенными за специальные тросы. В процессе композитинга приходится эти тросы убирать из кадра, копируя участки изображения из соседних областей или даже кадров.
5) Восстановление кинопленки. Иногда на пленки сразу после проявки негатива обнаруживаются дефекты – царапины, пересветы и т.д. Если пересъемка эпизода невозможна или стоит очень дорого (кинозвезда уже на съемках другого фильма) можно попытаться восстановить изображение, использовав для этого, скажем, соседние неповрежденные кадры.

Во многих программах композитинга можно создавать и анимированную графику (Motion Graphics), которая сейчас используется практически везде - от мобильных телефонов до музыкальных клипов и заставок телекомпаний. Буквы и слова, используемые как элементы дизайна (Typography), титры в кино (Title Sequence) – все это сфера применения motion graphics.
Motion grafics
Итак, как мы уже говорили выше, сущность композитинга - составление из отдельных частей целостного изображения. В детстве, наверное, каждый из нас создавал аппликации – вырезал из журналов и книжек разные картинки, которые затем наклеивал на листок бумаги, пытаясь создать новый мир. Взрослые дяди и тети сегодня, по-сути, занимаются тем же, используя для этого, правда не ножницы и клей, а, часто, супердорогие программы композитинга и мощные компьютеры. И все это во благо «великой иллюзии»…
«Небесный капитан и мир будущего» (Sky Captain and the World of Tomorrow)
Фильм «Небесный капитан и мир будущего» был полностью снят на фоне синего экрана на HD-видео (Sony HDCAM 4:2:2).
Capitan_Blue-screnn
Кадры, отснятые на синем экране
Capitan_Blue-screnn_2
Capitan_Background
CG-Background
Capitan_Samolet
Компьютерная модель самолета
Capitan_shadow_Samolet
И его отрендереная тень
Capitan_Final
Финальный кадр –результат композитинга предыдущих изображений и их постобработки.

Как это работает.
Для композитинга нескольких видеослоев используется альфа-канал, содержащий черно-белое изображение, которое маскирует (защищает) выбранные участки одного или нескольких комбинируемых слоев. Можно использовать одновременно несколько альфа-каналов. Маска, содержащаяся в альфа-канале, напоминает трафареты, которые используются для быстрого нанесения надписей краской на предметы. В трафарете вырезаются слова или картинки, после чего он прикладывается к нужной поверхности и краситься сверху. В результате окрашенными оказываются только необходимые нам участки. Композитинг с использованием масок альфа-канала аналогично позволяет выделять только необходимые участки как на переднем плане, так и на заднем плане. В кино тоже существовала подобная технология, которая носила название матирования или каширования (каше).
Применявшийся в кино оптический композитинг имеет много общих черт с новейшим цифровым композитингом. Оптический композитинг использует экспонирование пленки на свету. Это аддитивный процесс – чем больше экспозиция, тем светлее изображение. Цифровой композитинг также является аддитивным процессом. В типичном случае использования 8-битного линейного видео, каждый пиксель имеет определенное цифровое значение, которое получается путем комбинирования значений в красном, синем и зеленом каналах цвета от 0 до 255 (всего 256=28 градаций). Черный цвет имеет значение 0,0,0, белый – 255,255,255, а скажем, оранжевый - 255,190,10. Комбинирование изображений (композитинг) – это математические операции над значениями пикселей изображений фона (background) и переднего плана (foreground). Наиболее часто применяются в процессе смешения слоев (blending).
Рассмотрим стандартный пример композитинга 2-х изображений – одного снятого на фоне «синего экрана» и второго, которое должно служить новым фоном.
matte
На иллюстрации (1a.) изображен задний фон (background),
(1b.) – объект перед синим экраном (foreground),
(1c.) – маска или альфа-канал (matte or alpha).

Когда мы запускаем в соответствующих программах процесс композитинга, сначала математически умножается задний фон (background) (1a) на инвертированный альфа-канал (1d). Там, где маска имеет черный цвет, пиксели из бекграунда(1a) умножаются на ноль и поэтому каждый из каналов RGB имеет в этом месте значение 0,0,0, то есть черный цвет. Там, где у маски белый цвет – они умножаются на 1 и сохраняют свое значение. В этих местах нам полностью будет виден задний фон. Серые области умножаются на соответствующее значения прозрачности между 0 и 1. Эти области будут частично прозрачны. Результат этих операций мы видим на (1e). Там, где маска имеет черный цвет, черными будут и области на бекграунде.
Изображение на переднем слое (1b) умножается на маску (1c) и результирующим является изображение (1f). Наконец, над пикселями этих двух изображения (1e) и (1f) мы производим операцию сложения и в итоге получаем результат композитинга – наш объект с переднего плана на фоне изображения с бекграунда (1g).
Впрочем, одна из основных проблем, которая возникает после композитинга изображений – эта несовпадение объектов по яркости, поскольку они, чаще всего сняты при разных условиях освещения.
«Сложение» - это простая математическая операция, например, если пиксель в левом нижнем углу бекграунда имеет значения 175,100,60 а расположенный точно в этом же месте, но на переднем плане 0,0,0, то сложив вместе два эти значения мы получим в сумме - 175,100,60, то есть значение такое же, как и у пикселя с бекграунда. Пиксели, из области, которую занимает наш персонаж, расположенный на переднем плане, будут иметь тоже значение и на скомпонованном изображении. Немного другая ситуация с пикселями, расположенными по «мягким» краям (soft edge) маски – здесь они «смешиваются» (blended). Например, если пиксель на (1а) имеет значение 150,50,20, а на (1b) - 50,50,100, то после процесса композитинга пиксель на финальном изображении будет иметь суммарное значение обеих пикселей - 200,100,120. Эти математические операции выполняются для каждого пикселя компонируемого изображения и в композитинге обычно называются «смешение» - Blend.
По немного другому сценарию работает процесс композитинга если на переднем плане мы используем элемент, созданный с помощью программ 3D-графики (CGI).
pre-miltipled
Изображение (2a) - это передний план, (2b) - бекграунд. В этом случае нам все равно нужно выполнить умножение пикселей бекграунда на инвертированную маску переднего плана, как и в предыдущем случае, чтобы получить значения пикселей 0,0,0 или «черную дыру» в областях, где будет добавлен огонь. Однако нам не нужно умножать изображение переднего плана на его маску. В этом случае, созданные на компьютере элементы уже несут в себе необходимую информацию – этот вид маски называется "pre-multiplied". Результат композитинга (2g) получаем, сложив пиксели изображений (2a) и (2f). Этот вид композитинга известен, как "ADD" (сложение).
Итак, если коротко подытожить вышесказанное, главное в композитинге – это искусство создания масок! Это - сердцевина композитинга. Создаете ли вы маску с помощью кеинга или покадрово прорисовываете ее вручную в процессе ротоскопинга – главное, чтобы маска была «чистой», без цветовых окантовок, а результирующий образ выглядел реальным и зрители не заметили бы никаких «швов» в изображении.
(Конец 1 части статьи)

продолжение статьи

[1] Ron Brinkmann, «The Art and Science of Digital Compositing», Elsevier, 2008, p.2.
[2] Айзек В. Керлоу «Искусство 3D-анимации и спецэффектов», М. 2004, стр. 399