Існують два основних види систем motion capture:
- Маркерна система motion capture, де використовується спеціальне обладнання. На людини надівається костюм з датчиками, він виробляє руху, необхідні за сценарієм, постає в домовлені пози, імітує дії; дані з датчиків фіксуються камерами і надходять в комп'ютер, де зводяться в єдину тривимірну модель, точно відтворює руху актора, на основі якої пізніше (або в режимі реального часу) створюється анімація персонажа. Також цим методом відтворюється міміка актора (в цьому випадку на його обличчі розташовуються маркери, що дозволяють фіксувати основні мімічні рухи).
- Безмаркерная технологія, яка потребує спеціальних датчиків або спеціального костюма. Безмаркерная технологія заснована на технологіях комп'ютерного зору і розпізнавання образів. Актор може зніматися в звичайному одязі, що сильно прискорює підготовку до зйомок і дозволяє знімати складні рухи (боротьба, падіння, стрибки, і т. П.) Без ризику пошкодження датчиків або маркерів. Кілька практично застосовних безмаркерних систем були розроблені в останні роки [1] [2]. хоча дослідження подібної технології проводяться вже довгий час [3]. На сьогоднішній день існує програмне забезпечення «настільного» класу для безмаркерного захоплення рухів [4]. В даному випадку не потрібно спеціального устаткування, спеціального освітлення і простору. Зйомка проводиться за допомогою звичайної камери (або веб-камери) і персонального комп'ютера.
На сьогоднішній день існують велика кількість маркерних систем захоплення рухів. Різниця між ними полягає в принципі передачі рухів [5]:
- Оптичні пасивні. На костюмі, що входить в комплект такої системи, прикріплені датчики-маркери, які названі пасивними, бо відображають лише посланий на них світло, але не світяться. У таких системах світло (інфрачервоний) на маркери надсилається з встановлених на камерах високочастотних стробоскопів і, відбившись від маркерів, потрапляє назад в об'єктив камери, повідомляючи тим самим позицію маркера. Мінус оптичних пасивних систем:
- Тривалість розміщення маркерів на актора
- При швидкому русі або близькому розташуванні маркерів один до одного система може їх плутати (технологія не передбачає ідентифікацію кожного маркера)
- Оптичні активні названі так тому, що замість світловідбивних маркерів, які кріпляться до костюму актора, в них використовуються світлодіоди з інтегрованими процесорами і радіо-синхронізацією. Кожному світлодіоду призначається ідентифікатор, що дозволяє системі не плутати маркери один з одним, а також дізнаватися їх, після того як вони були перекриті і знову з'явилися в поле зору камер. У всьому іншому принцип роботи таких систем схожий з пасивними системами. Мінуси активних систем:
- Відсутність можливості захоплення рухів і міміки обличчя
- Додатковий контролер, що кріпиться до актора і підключений до маркерів-светодиодам, сковує його руху
- Крихкість і відносно висока вартість маркерів-світлодіодів
- Магнітні системи. в яких маркерами є магніти, а камерами - ресивери, система вираховує їх позиції по спотворень магнітного потоку. Мінуси магнітних систем:
- Магнітні системи схильні до магнітним і електричним перешкод від металевих предметів і оточення (електропроводки приміщення, оргтехніки, арматури в плитах будови)
- Мінлива чутливість сенсорів в залежності від їх положення в робочій зоні
- Менша в порівнянні з оптичними системами робоча зона
- Відсутність можливості захоплення рухів і міміки обличчя
- Додатковий контролер, прикріплений до актора і підключений до магнітних маркерами, або навіть зв'язка проводів, що тягнеться від актора до комп'ютера.
- Висока вартість магнітних маркерів
- Механічні системи безпосередньо стежать за згинами суглобів, для цього на актора надаватися спеціальний механічний mocap-скелет, який повторює слідом за ним всі рухи. У комп'ютер при цьому передаються дані про кути згинів всіх суглобів. Мінуси механічних систем:
- Mocap-скелет, з додатковим контролером, прикріпленим до актора і підключеним до сенсорам згинів, а в деяких випадках і дроти, що тягнуться від скелета, сильно обмежують руху актора.
- Відсутність можливості захоплення:
- Рухів і міміки обличчя
- Рухів тісної взаємодії двох і більше акторів (боротьба, танці з підтримками і т. Д.)
- Рухів на підлозі - перекиди, падіння і т. Д.
- Ризик поломки механіки при необережному використанні.
- Гіроскопічні / інерціальні системи для збору інформації про рух використовують мініатюрні гіроскопи і інерційні сенсори, розташовані на тілі актора - також як і маркери або магніти в інших mocap-системах. Дані з гіроскопів і сенсорів передаються в комп'ютер, де відбувається їх обробка і запис. Система визначає не тільки положення сенсора, але також кут його нахилу. Мінуси гироскопических / інерційних систем.
- Відсутність можливості захоплення рухів і міміки обличчя
- Додатковий контролер, прикріплений до актора і підключений до магнітних маркерами, або навіть зв'язка проводів, що тягнеться від актора до комп'ютера.
- Висока вартість гіроскопів і інерційних сенсорів
- Для визначення положення актора в просторі потрібна додаткова міні-система (оптична або магнітна)
Переваги та недоліки motion capture
З одного боку, motion capture - альтернатива живій зйомці акторів, з іншого - альтернатива ручної анімації тривимірної моделі. Переваги та недоліки mo-cap в порівнянні з цими технологіями розглянемо окремо.
У порівнянні з синім екраном
Переваги motion capture
Переваги «синього екрану»
- Більшість різновидів motion capture дорогі.
- «Синій екран» можна зробити досить великих розмірів і вести на його тлі зйомку масштабних сцен, в той час як розмір студії motion capture, як правило, обмежений.
- Фотореалістичного персонажа зобразити на комп'ютері складніше, ніж фотореалістичне оточення. Тому, починаючи з деякої планки продуктивності, явно «комп'ютерний» персонаж буде чужеродно виглядати на тлі, не можна відрізнити від реального. Див. Зловісна долина. Myst (серія ігор).
У порівнянні з 3D-мультиплікацією
Переваги motion capture
- Уже через кілька хвилин після зйомки можна отримати попередній результат і зрозуміти, чи варто перезнімати / перекомпоновувати сцену.
- Реалізм рухів. Деякі особливості руху людей, такі як перенесення центру ваги і амортизація після стрибка, трудомісткі в реалізації.
Переваги ручної мультиплікації персонажів
- Більшість різновидів motion capture дорогі, комп'ютерна анімація дешевше.
- У motion capture руху персонажа обмежуються законами фізики.
- Якщо аніміруемая модель має інші пропорції, ніж актор, можливі проблеми. Наприклад, у «товстого» мультяшного персонажа, який анімований даними, знятими навіть з дуже повної людини, руки можуть «входити» в тулуб.
- Не завжди реалістичні руху вдається добре пристосувати до комп'ютерної моделі (навіть має звичайні людські пропорції). Взаємодія персонажа з великими декораціями (наприклад, герой підходить до дверей і відкриває її) в комп'ютерних іграх часто передається нереалістично. Крім того, часто в задум режисера входить «гіперболізація» рухів за рахунок меншого відповідності законам фізики. Наприклад, перш ніж стрибнути. людина робить особливий крок з присіданням. У комп'ютерних іграх цього кроку часто немає, щоб не було затримки між натисканням кнопки і стрибком.
- Труднощі з ручним редагуванням і «зшивкою» різних дублів mo-cap.
- Різноманітність. Намальовані персонажі можуть виконувати набагато більше рухів, які люди повторити не можуть.
Залежно від ситуації, перевага може бути віддано в рівній мірі і тієї й іншої технології.