ZOZOテクノロジーズが発表したバーチャルヒューマンユニット「Drip」。前回は、このプロジェクトの経緯、コンピュータービジョンの領域を牽引するHao Li氏（Pinscreen）と描くビジョンについての対談を公開した。
今回は、この対談のなかでも言及されていた、他とは異なるバーチャルヒューマンの作成手法というところに注目。ビデオコンテンツでも従来の方法と比べて約半分の制作スピードを実現するという制作手法について、ZOZOテクノロジーズ MATRIXの玉村雄大、池上夕貴の両担当者を取材した。
PROFILE｜プロフィール
玉村雄大
IT系メガベンチャーにてゲーム関連の映像制作や3DCG分野の業務に従事した後、2020年にZOZOテクノロジーズに入社。XR / AIチームにて主にバーチャルファッション領域のプロジェクトを推進。メインツールはHoudini, Substance, Zbrush, UE4など。
PROFILE｜プロフィール
池上夕貴
アパレルブランドにて企画やパタンナーを経験後、2020年にZOZOテクノロ ジーズに入社。XR / AIチームにて主にバーチャルファッションのモデリングなどを担当。メインツールはCLO, Marvelous Designer, Substance, Zbrushなど。
1枚の画像ができるまで
投稿画像の制作ではまず、コンテンツの企画内容を決めるところから始まる。バーチャルモデルがどういったポーズをするか、実写背景はどんなものにするか、着用する服装はどんなものにするか、といったことを議論するそうだ。その後に、各領域の専門スキルを持ったアーティスト（モデラー、アニメーター、コンポジターなど）が同時進行で作業していく。①投稿コンテンツの企画
-モデルのポージングや表情
-実写背景
-着用する服や靴、アクセサリー など
②実写背景、HDRI画像の撮影
-バーチャルモデルと合成するための実写背景画像を撮影
-撮影した場所のライティング環境をCGで再現するため、360度画像を同時に撮影しCG環境で扱うためにHDRIというデータに変換
③服や靴、アクセサリーの3Dモデリング制作
-Marvelous DesignerやMayaといった3DCG制作ソフトを使用して制作
-専任の3Dモデラーが製作を担当
④CG（モデル）と実写（背景）合成
現在のバーチャルモデル／インフルエンサーの制作では工数を削減するため、顔だけCGで他は実写を合成するという手法が一般的だが、Dripではモデルは全身がCGで構成されている。このような全身CGのバーチャルモデルの迅速な制作を実現するため、④CG（モデル）と実写（背景）合成のところで採用されている技術に最大の特徴があるという。
それは「Unreal Engine」というリアルタイムエンジンの採用である。このリアルタイムエンジンにはディープフェイク技術が使用されており、CGの顔を実写画像や動画に差し替えることができる。玉村氏いわく、この手法をとると3Dコンテンツを最終的に2D画像や動画形式に書き出すレンダリングの時間がほぼ発生せず、描画するシーンの複雑さに依存するが、「Drip」の投稿だとわずか数秒で済んでしまうという。コンテンツに修正が発生するたびにレンダリングする必要があるが、一般的な3DCGの制作で採用されているプリレンダリングという手法だと数時間かかる場合もあるため、フレキシブルさでは圧倒的にリアルタイムエンジンが勝るとのことだ。
スピードとフレキシビリティのある制作体制
投稿制作は、およそ2〜3日の作業だという。実写背景画像、モデルのポージングデータ、服・靴・アクセサリーなどは事前に作成してストックしている。さらにはUnreal Engineのテンプレート作業データを使用しているた め毎回0からシーンを組み上げる必要がなく、実際に投稿画像を制作する際には、実写背景画像とモデルとの合成作業のみを行っているとのことだ。合成作業自体は1日で完了し、そこからクオリティ向上のため1-2日の修正作業を設けている。コンテンツ内容の急な変更や微調整に瞬時に対応できる、スピード感とフレキシビリティを重視した制作体制がとられており、チームメンバーは国内だけではなく海外のアーティストも起用。とりわけUnreal Engineの合成作業（コンポジット作業）は、国内では経験豊かなアーティストを探すことが難しいため、リモートワークで居住地を問わずメンバーを集めてクオリティを向上させているとのことだ。
リアルな設定へのこだわり
実在の人物と見間違うレベルのバーチャルモデルを実現するにあたり、モデルの技術的な見た目以外にも、実在のモデルやインフルエンサーと同じようなパーソナリティや行動パターンの設定へのこだわりもある。場所の選定、アバターの性格に合わせたポーズや構図を考え、ユーザーが実在のモデルやインフルエンサーと同じ感覚でDripを見れるようにしているとのことだ。またファッション企業が提供するバーチャルモデルであるため、ファッションを通して「かっこいい」「可愛い」「驚き」「熱狂」といった想いを持ってもらえるような投稿を最も意識しているそうだ。そして各アバターにはプロフィールが設定されており、好きなファッションテイストに合った服をデザイン。例えば絵留はストリート系のファッションを好む、紗英はカジュアルガーリー系のファッションといったような一貫性を持たせ、実世界のファッショントレンドや季節 感も考慮しながらコーデを組んでいるという。
玉村氏は、最後にこのように述べてくれた。「現時点ではトレンドに合わせた、現実世界にも存在していそうな服を着用させている。今後はバーチャルという特性を活かして、例えば現実には存在しない素材を使うなど、バーチャルでしか表現できないファッションの提案をすることでユーザーの驚きを引き出すことも考えている。」
この記事をシェアする
関連記事
RELATED ARTICLES
FASHION TECH NEWSは株式会社ZOZOの登録商標です
©️ZOZO NEXT, Inc. All Rights Reserved.