XRプロジェクトは株式会社ZOZO NEXTと、アメリカを拠点とするPinscreen（ピンスクリーン）のコラボレーションプロジェクトである。約2年前からアバター作成アルゴリズムの開発を進めており、2021年にはProject Dripを開始している。今回当プロジェクトの一環として2022年3月13日から米テキサス州で行われたSXSW（サウス・バイ・サウスウエスト）へ出展し、ユーザーの顔写真を元に、Pinscreen社が開発したアルゴリズムが、わずか1分程度でデジタルツインを自動作成する技術を発表している。また、身長と体重を入力するとそのデータを元に体が生成され、よりリアルなアバターの作成ができるというプロトタイプ作品を披露した。今回、プロジェクトチームにその開発ストーリーと、その背景についてインタビューを行った。（2022年3月1日収録） PROFILE｜プロフィール
Hao Li （ハオ・リー）
ハオ・リーは、最先端のAIドリブンのバーチャルアバターテクノロジーを構築するスタートアップ、PinscreenのCEO兼共同創設者であり、カリフォルニア大学バークレー校のコンピュータビジョングループの特別研究員。ETH Zurichで博士号、Karlsruhe大学で修士号を取得。前職では、南カリフォルニア大学コンピューターサイエンス准教授、USC Institute for Creative TechnologiesのVision and Graphics Labのディレクターを務めた。ハオのコンピュータグラフィックスとコンピュータビジョンの研究は、没入型コミュニケーション、仮想世界でのテレプレゼンス、エンターテインメントのために人間をデジタル化し、そのパフォーマンスをキャプチャすることに重点を置いている。過去にはWeta Digitalの客員教授、Industrial Light & Magic / Lucasfilmの研究リーダー、コロンビア大学とプリンストン大学の博士研究員などを歴任。2013年にはMITテクノロジーレビューの35歳以下のトップイノベーターに選出され、Google Faculty Award、大川財団研究助成金も受賞している。2018年にはOffice of Naval Research Young Investigator Awardを受賞、2019年にDARPA ISAT Study Groupへの指名など。2020年、ACM SIGGRAPH Real-Time Live! "Best in Show "賞を受賞。
PROFILE｜プロフィール
Jack Howard（ジャック・ハワード）
ジャック・ハワードは、VRやAR体験のアートディレクター、クリエイティブテクノロジスト。ロンドンを拠点に撮影監督およびシニアVFXアーティストとしてキャリアをスタート。これまでGoogle、Sky、国連などのクライアントのために様々な国で実写ドキュメンタリーやショートフィルムに取り組んだ背景を持つ。以降、現職。
PROFILE｜プロフィール
Yudai Tamamura（玉村雄大）
株式会社ZOZOテクノロジーズ所属の3Dスペシャリスト。ITメガベンチャーでゲーム関連の映像制作や3DCGに携わったのち、2020年にZOZOテクノロジーズに入社。以降、XR/AIチーム内でバーチャルヒューマン/ファッション領域のプロジェクトを主軸に活動を展開。その一方で、CG制作も行い、HoudiniやUnreal EngineなどのCGツールにも長けている。
「Virtual Experience」の開発背景
今回、SXSWのXRブースで、どのような作品の展示をされたのでしょうか？
Yudai私たちが発表したデモ内で参加者は、自分のバーチャル・アバターを瞬時に作成することが可能になります。そのステップは、まず、ユーザーが自分の顔写真を撮影し、その写真をもとに、自分そっくりのバーチャルアバターの顔が自動的に生成されます。その後、身長、体重、ポーズ、背景などを指定し、スクリーンショットを保存することで、その画像を自分のSNSで共有することができるといった仕組みです。
Jack私たちが目指しているのは、E-ShoppingやE-commerceに楽しさを追加することであり、今回の展示においてもユーザーエクスペリエンスの観点から、人々に楽しんでもらうことが重要でした。もちろんクオリティは私たちにとって一番の優先事項であり、利用されている技術も最先端であることから、とても興味深いプロジェクトだといえます。
Hao私が個人的にこのプロジェクトがエキサイティングだと思う理由は、私たちのソリューションを用いることで人々が3次元の自分を作ることができ、好きな服を着用できることにあります。私にとってこのプロジェクトはZOZO NEXTが作る未来を垣間見ることができるものであり、それはあらゆるものがバーチャルになる能力を伴った未来だと思います。従来 、人々は店舗で衣服を購入していますが、ZOZOは実店舗をもたないオンラインショップとの数少ない成功事例だと思います。そして次世代の購買体験はオンラインショップで画像を閲覧するだけではなく、ユーザーが着替えをしなくとも自分の試着姿を見ることができるものだと私は考えています。
ですから、私たちのチームのビジョンは、「将来私たちはどのように買い物をするのか」です。つまり家で座っているだけで、自分の写真を撮影し、クリックだけで着たい服を着て、好きなポーズをとって、違う場所で、自分がどう見えるのかを試すことができることだと思うのです。今回の展示の目的はこれを実現するための技術を構築していることを見せることにあると思います。ジャックも言っていたように、これはとても楽しいものです。楽しくなければ人々は使いませんからね。さらにとても身近で、簡単に使えて、「こんなアプリがあったらいいな」、「ショッピング体験がこのようになったらどうかな」、「ウェブサイトにアクセスして服を実際に着ることがなく試着姿を教えてくれたらどうだろう」と思ってもらえるようなものを作ることが重要だと考えています。
こちらの作品は、技術的にはどのようなものが用いられているのでしょうか？
JackデモはUnreal Engineでほとんどのものが作られています。
.jpeg?w=600&fm=webp&dpr=2)
.jpeg?w=600&fm=webp&dpr=2)
