サバンナ芸術工科大学（SCAD）

概要

サバンナ芸術工科大学（SCAD）の学生たちは、ソニーのモーションキャプチャーシステム「mocopiプロフェッショナルモード」を活用し、リアルタイム・バーチャルプロダクションによる短編映画を制作しました。10週間のプログラムの中で、モーションキャプチャー、Unreal Engine、XRステージを組み合わせ、実際の映像制作現場さながらのワークフローを体験しました。

課題

本プロジェクトでは、学生たちが短編映画の企画から脚本制作、監督、映像制作までを担当しながら、先進的なバーチャルプロダクションワークフローの実践に挑戦しました。従来の大規模なモーションキャプチャースタジオを使用せずにリアルな演技を収録し、デジタルキャラクターを実写映像へ統合するなど、実際の制作現場に近い工程を10週間という限られた期間で実現しました。

ソリューション

SCADの学生たちは、「mocopiプロフェッショナルモード」を活用したハイブリッド型のバーチャルプロダクションワークフローを構築しました。モーションキャプチャーは教室内で実施され、2セットのmocopiを用いて複数のデジタルキャラクターの演技を収録。取得したデータはPCへ送信された後、キャラクターモデルへ適用され、Unreal Engine上のシーンへ統合されました。

また、従来のように撮影後の合成作業に頼るのではなく、アニメーションキャラクターをLEDボリューム（大型LEDディスプレイを使用したバーチャルプロダクション撮影環境）上に表示した状態で撮影を実施。これにより、出演者や制作スタッフはデジタルキャラクターをリアルタイムに確認しながら撮影を進めることができました。

さらに学生たちは、Blenderで制作した背景環境に加え、Nano BananaやMidjourneyで生成したAI画像をテクスチャとして活用。デジタルキャラクターの作成には、Polycamによるスマートフォンのフォトグラメトリデータも使用するなど、さまざまな先進技術を組み合わせた制作に取り組みました。

成果

リアルタイムワークフローにより、学生たちは撮影現場でクリエイティブな判断を即座に行うことができました。キャラクターの配置変更やライティング調整、アニメーションの差し替えなどを撮影しながら実施できたことで、ポストプロダクションへの依存を減らし、制作プロセスの効率化にもつながりました。

また、出演者や制作スタッフは撮影中に背景環境やデジタルキャラクターを実際に確認できるため、より自然な演技や演出が可能となり、チーム全体の連携も向上しました。

最終的に完成した作品は、プロフェッショナルなバーチャルプロダクションワークフローにも匹敵するクオリティを実現しました。

効果

本プロジェクトは、導入しやすいモーションキャプチャーシステムによって、教育現場でもプロフェッショナルなバーチャルプロダクションを実践できることを示しました。学生たちは、モーションキャプチャー、リアルタイムレンダリング、バーチャルプロダクションの制作フロー、LEDボリュームを活用した撮影手法などを実践的に学び、映画やXRコンテンツ制作の未来を担うクリエイターとしての経験を積みました。

主なコメント

「とても簡単に扱うことができ、センサーを装着するだけでスムーズにモーションキャプチャーを開始できました。」
「デジタルキャラクターを撮影時から確認できるため、ポストプロダクションでの合成を前提とせず、完成形をイメージしながら撮影を進めることができました。」
「キャラクターの配置変更やライティング調整、アニメーションの差し替えなどを撮影現場で柔軟に行うことができ、より効率的な制作ワークフローを実現しました。」
「出演者や制作スタッフは、実際の環境やデジタルキャラクターを確認しながら制作に取り組めるため、より自然で快適な制作体験を得ることができました。」
「教育現場におけるプロジェクトでありながら、プロフェッショナルな映像制作にも匹敵する高品質な成果物を制作することができました。」

まとめ

SCADのプロジェクトは、「mocopiプロフェッショナルモード」がモーションキャプチャーの導入ハードルを下げ、リアルタイム映像制作を身近なものにできることを示しました。持ち運びのよさや扱いやすさ、Unreal Engineとの連携性を活かすことで、学生たちは高品質な映像作品を制作するとともに、次世代の映像制作ワークフローを実践的に学ぶ機会を得ました。

SCAD Students and affiliates:

Maura Collins: Director, Co-Writer, Producer
Kian Crook: Director of Photography, Co-Writer, Camera Operator, Previsualization, Explosion Physics
Jaxson Hillard: Producer
Michael Sledge: Producer, 1st AD
Forest Bax: Producer, Key Grip
Luke Pawsey: 1st AC, Gray Boxing, Unreal Engine Environment Design, Model Generation, Character Generation
Rafe Maston: 2nd AC, Editor
Andrey Dulnev: BTS, Gray Boxing, BTS Video Editor
Edda Gilbert: Gaffer, Virtual Lighting
Alexander Coto Torres: Best Boy Electric
Joe Marinelli: Image Generation, Explosion Effects
Iona Stites: Production Sound Mixer, Boom Operator
Kiran Kumar: Gray Boxing, Unreal Engine Environment Design, Motion Capture Animation
Felix Kageman: Model Generation
Hunter Ray: Model Generation, Character Generation

Devon Rafferty: Dutch (actor)
Cameron Rattray: Vance (actor)
Joshua Hall Avant: Mac (actor)

Joerg Schodl: Overseeing SCAD Professor