2021.10.01

ビューティー市場におけるインフラ的テクノロジー:パーフェクト社のAR、AI技術

heroImage

昨今ではビューティー市場においても、EC化などを背景にリテールテックの導入が進んでいる。しかしながら、現在でも店舗での販売の比重が大きいビューティー市場にとって、デジタルツールの導入には課題も多い。

こういった状況において、ビューティー市場でのインフラ的なテクノロジーの提供で注目されるのが、パーフェクト株式会社だ。同社は多くのビューティー企業にAI、AR技術を提供、ECサイトやSNSでの優れた顧客体験の設計を支えている。
多種多様なブランドの要望に応えるサービスの開発は、どのように実現しているのか?今回はパーフェクト株式会社・代表取締役の磯崎順信氏に、サービスの概要から開発ストーリー、ビューティーテックの潮流から展望まで、お話を伺った。

PROFILE|プロフィール
磯崎順信

デジタルメディアテクノロジー関連の外資系ベンチャー企業の日本代表等を経て、2015年にPerfectCorp.の日本法人の立ち上げより現職で参画。バーチャルメイクアプリ「YouCam メイク」をはじめ、AI/ARによる新しい消費者エンゲージメントプラットフォームを多くのブランド・小売店・メディアに向け提供し、エコシステムを確立。

AIからARまで、ビューティに特化した技術を提供

まず、パーフェクト株式会社の概要について、教えてください。

我々は台湾を本部に持つ画像映像処理のPCソフトの会社で、プロシューマー向けにビデオの画像映像の加工、編集、再生などを提供していたサイバーリンクからスピンオフしています。
ビューティーに特化した事業を展開した経緯は、2011〜2013年くらいからモバイルが増えたことによって、モバイル上のサービスがより重要視された背景があります。こういったなかで開発したものが、2014年夏にリリースした女性に特化したセルフィーアプリ「YouCam メイク」でした。このヒットを受けてビューティーに特化した事業体をサイバーリンク内に作ったのですが、これまで対象としてきたユーザーや流通経路とは180度異なるものであったため、2015年に分社化しています。

「YouCam メイク」を基幹アプリとする「YouCam」アプリシリーズは現在、累計9億ダウンロードを突破しています。その後、エンドユーザー向けのアプリとしてだけではなく、アプリの裏のAI、AR技術をSaaSという形でプラットフォームとして展開し、グローバルで350以上のブランドにご利用いただいています。何かしらの形でユーザーがメイクを試す回数が、年間300億回以上という非常に大きなエンゲージメントが作れているプラットフォームです。現在は、AR、AI、ストリーミング、他のプラットフォームとの連携の4つの大きな枠でBtoB展開しています。

画像: null
現在展開されているサービス概要を、詳しく教えてください。

AIは2018年から本格的にローンチし、パーソナルカラーなどの肌診断、骨格診断などからレコメンデーションを可能にするツールを追加しています。

ARは現在、オンラインのビデオチャットやライブキャストに対しても導入しています。ユーザーはインフルエンサーの紹介を見ながら実際に自分で試してみることができるので、BA(ビューティーアドバイザー)がユーザーにプッシュするような体験を提供することができます。現在は、ヘアカラーやカラコンやアクセ、アイウェアなどのファッション分野も対象とています。

クライアントには「PERFECTビジネスコンソール」というWEBポータルからすべての商品情報を登録していただくと、ARの再現性や色味の微調整が可能となります。一度弊社のWEBポータルにブランドと商品情報を登録してもらえれば、オムニチャネルで弊社のサービス各種が使えます。他のプラットフォームと連携して利用することも可能です。現時点では、弊社のプラットフォームは数十万点の情報を保有しており、様々なタッチポイントで一貫性のある質の高いAI・AR体験を提供しています。

現在では、SNSとの提携も行っていますね。

とあるSNSの企業様では、2019年の試験運用を経て、パーフェクト社のAPIが採用されることが決まり、ARを活用したバーチャルメイク体験をSNS上の商品カタログやAR対応広告、ショッピングなどのサービスと連携させることができるようになります。消費者は、投稿・ショップ・ストーリーなど、さまざまなエントリーポイントでARショッピングを楽しむことができるようになりました。自動化されたS2S(Server-to-Server)のインテグレーションにより実装されている本機能は、数多くのブランドが以前よりも簡単にARコマースを簡単に導入できるよう設計されています。

検索エンジンの企業様にもサービスを提供しています。ブラウザへの対応は今後となりますが、検索エンジンアプリで商品検索していただくとトライオンがでてきます。今年の7月くらいに数%のユーザーへの試験運用から始まり、8月の半ばに100%で運用されています。

また、動画共有サイトでのお客様の有料広告コンテンツに対して、トライオンボタンをつけることもできます。弊社が保有しているSKUデータを他社に土管を引いて提供し、また、そのフロントエンド側にて弊社のARデータに対応しているため、展開の可能性が広がっていきます。現在では中国系サービスへの展開も始まっております。

<p><span style="color:#222222">検索エンジンの企業様にもサービスを提供しています。ブラウザへの対応は今後となりますが、検索エンジンアプリで商品検索していただくとトライオンがでてきます。今年の7月くらいに数%のユーザーへの試験運用から始まり、8月の半ばに100%で運用されています。</span><br><br><span style="color:#222222">また、動画共有サイトでのお客様の有料広告コンテンツに対して、トライオンボタンをつけることもできます。弊社が保有しているSKUデータを他社に土管を引いて提供し、また、そのフロントエンド側にて弊社のARデータに対応しているため、展開の可能性が広がっていきます。現在では中国系サービスへの展開も始まっております。</span></p>
数々のサービスを展開されていますが、特に需要のあるものはありますか?

今、最も需要が大きいものが、「YouCam for Web」というWEBサイト上に埋め込むことができるAI、ARです。JavaScriptとして、YouTubeの埋め込みと同じような概念で、各ブランド特有のモジュールの埋め込みが可能となるものです。これはARだけではなく、肌診断などのエンジンも搭載することができます。

ブランドごとの差別化を可能とするインフラ的テクノロジー

特に技術的な核となっているのが「AgileFace®」だと思いますが、こちらについて詳しく教えてください。

そうですね、まず顔認証技術がないと何もできませんし、重要なコンポーネントのひとつになります。一般的な顔認証技術に比べると、トラッキングをフレームバイフレームでできるポイントの数と、メッシュ形の粒度が非常に細かくなっています。精度の高いものをスマホ上やブラウザ経由で捉えることは非常に難しいのですが、サイバーリンク時代の画像処理の技術が効いている部分です。

ただ、顔認証ができればバーチャルメイクができると思われている方も結構いらっしゃいますが、顔認証はバーチャルメイク全体の最初の一歩でしかないんです。大事なんですけども、全体の1割。しっかりとした顔認証でのトラッキングができた後に、それをフレームバイフレームで、色とテクスチャーを綺麗に載せてあげてる、自然な表現を実現するというのは本当に難しいんです。

画像: null
こういった技術開発はどのように行っているのでしょうか?

弊社はグローバルで200名以上の社員を抱えており、半数近くが台湾本部のエンジニアです。開発に携わっているデザイナーやPMも含めると、1つの開発を100名体制で動いています。また、プラットフォーム展開というところが非常に大きな鍵となっています。SaaSとしてプラットフォーム化することで、たくさんのブランドとのお付き合いのなかで色々なリクエストをいただき、汎用性の高いものから順にローンチしています。もし、こういった開発を1社で行うと、10名20名くらいのリソースで数ヶ月、ブランド数が多くなれば数年とかかってしまいますが、スケーラビリティーが高いプラットフォームを用意することで、たとえば1ヵ月で20、30といったブランドへの対応ができるようになっております。

極力レイヤーの低い、人の目につかない部分の開発に徹しています。ユーザー体験全体として、弊社の技術のほとんどはユーザーの目に触れないんですね。でも、この下に隠れている部分が技術的にはサービスの9割を占めています。この9割を占める技術開発の重みが大きい部分を整えておけば、残り1割の表面的な部分でブランドごとの差別化は可能です。その、ブランドにとって最も重要な部分にブランドさんが集中できるよう、AR、AIのインフラ的なプラットフォーマーという位置付けをとっています。

AIに関しては、どのような開発を行っているのでしょうか?

パーソナライゼーションを提供するためのAIを開発しているのですが、レコメンデーションそのものではなく、弊社のAIは「検出」に特化しています。我々はエンドユーザーも含め様々なデータを持っているため、そういったビッグデータを使って商品、色、レベルまでレコメンドすることは技術的には可能です。ただ、我々はテックカンパニーであってビューティーカンパニーではないので、消費者への商品レコメンデーションはおこがましくてできません。
弊社のようなIT企業が特定のアルゴリズムでレコメンデーションしてしまうと、どのブランドでも同じになってしまうんです。エンドユーザーにとって、ブランドの違いによるワクワク感がなくなってしまうことは危惧すべきですし、ブランド側での差別化が難しくなってしまう。そうすると、BtoB事業として成立しなくなってしまいます。

あくまで弊社は肌の状態の診断までで、そこから先は各ブランドが門外不出のメソッド、フィロソフィーをお持ちなので、それをロジックとして上から載せていく。このユーザーのシミが65点だとしたら、その65点にどういった対処にするのかは、ブランドごとに企画していただいています。なので、全く同じものはないんです。コンテンツ、レコメンデーション、ユーザー体験の独自の差別化をしやすいツールとなっています。

画像: null

実際に提供しているものとしては、ひとつがAI肌チェックです。シミ、シワ、キメ、クマの4点から始めましたが、現在では油分水分、赤みや目袋、毛穴、たるみといった様々な肌の悩みをスマホのカメラだけで非接触で検証するということができるようになりました。これは診断結果つきの画像を何万とディープラーニングをさせて開発しております。
また、他にも「AI スマートシェードファインダー」というパーソナルスキンカラーの検出や、「AI フェイスアナライザー」という輪郭や目の形、眉毛の形を検出するツールなどもございます。実際に「AIフェイスアナライザー」を導入して、バーチャルメイクお試し回数が週間200万回突破、サイト訪問数は約30倍になったクライアント導入事例もあります。

<p><span style="color:#222222">実際に提供しているものとしては、ひとつが</span><a style="color:#1155cc" href="https://www.perfectcorp.com/ja/business/products/ai-skin-diagnostic" target="_blank" rel="noopener noreferrer">AI肌チェック</a><span style="color:#222222">です。シミ、シワ、キメ、クマの4点から始めましたが、現在では油分水分、赤みや目袋、毛穴、たるみといった様々な肌の悩みをスマホのカメラだけで非接触で検証するということができるようになりました。これは診断結果つきの画像を何万とディープラーニングをさせて開発しております。</span><br><span style="color:#222222">また、他にも「</span><a style="color:#1155cc" href="https://www.perfectcorp.com/ja/business/products/ai-shade-finder" target="_blank" rel="noopener noreferrer">AI スマートシェードファインダー</a><span style="color:#222222">」というパーソナルスキンカラーの検出や、「</span><a style="color:#1155cc" href="https://www.perfectcorp.com/ja/business/products/ai-face-analyzer" target="_blank" rel="noopener noreferrer">AI フェイスアナライザー</a><span style="color:#222222">」という輪郭や目の形、眉毛の形を検出するツールなどもございます。実際に「AIフェイスアナライザー」を導入して、バーチャルメイクお試し回数が週間200万回突破、サイト訪問数は約30倍になった</span><a style="color:#1155cc" href="https://www.perfectcorp.com/ja/business/successstory/detail/80" target="_blank" rel="noopener noreferrer">クライアント導入事例</a><span style="color:#222222">もあります。</span></p>
ブランドの活用事例としては、どういったものがありますか?

最近はLINE経由でバーチャルシミュレーションや診断サービスへ誘導する事例が多く、ウェブサイトに機能を置くだけよりも非常に高い効果を発揮します。エンゲージメントもウェブサイトのみと比べて桁が2つくらい違う事例もありまして、非常に大きな成功事例としてベンチマークとなっています。

他には、骨格診断をベースに、非常に細かい診断をLINEから提供したり、肌白診断からヘアカラーのレコメンデーションや、肌色診断からリップカラーのレコメンデーションを使っていただく事例などもあり、売り上げも非常に好調でした。実際に「AIフェイスアナライザー」を導入して、バーチャルメイクお試し回数が週間200万回突破、サイト訪問数は約30倍になったクライアント導入事例もあります。

ブランドごとへのニーズへの対応は、どのように行っているのでしょうか?

まず「PERFECTビジネスコンソール」というツールによって、ARの再現性や色味の調整に加えて、サービスの展開に関するスケジューリングから分析、アイテムの一限管理なども行うことができます。

また、「YouCamメイク」というエンドユーザー向けのアプリを応用し、特定のブランドに展開する「YouCam for Business」というものもあります。こちらでは、お客様に特定のIDをふり、そのIDでログインしたデバイスだけが、そのブランドバージョンの「YouCam メイク」に着せ替えられるようなものです。ブランドの商品を試して写真を撮影した後に、2次元バーコードを表示してユーザーのデバイスからECに繋げることができます。

ブランド側からは、どういったリクエストがありますか?

わかりやすいのはリップのテクスチャーですね。最初、我々がやっていたのが、マット、ナチュラル、グロスだったんですけど、ホログラフィックとか、メタリックといった様々な表現のリクエストが各ブランドから出てきました。

もちろん、色々なブランドに導入していただくうえで汎用性は重視しているため、多く利用していただけそうなものから優先して出しています。

画像: null

OMO・ライブ配信など市場の潮流に合わせた展開

こういったサービスを提供しているなかで、日本のコスメのEC市場について感じていることをお聞かせください。

日本は化粧品におけるEC化率が低い市場でしたが、コロナ禍になって増加傾向にあります。とはいえ、まだ化粧品業界においてBtoCのEC率は低く、8~9割の消費者は店舗で買われているような計算となります。しかし我々のデータによると、世界の各ブランド別の週間バーチャルメイク体験回数ランキングの1、2、5位は日本ブランドです。それらのブランドは国内市場をメインとするブランドです。つまり、日本のユーザーはデジタルツールを非常によく使うんです。Webサイトや口コミなどをデジタルで調べる一方で、ECで買うという行為が化粧品に関しては非常に少ないんです。

その理由としては、欧米などの国土が広いところと比較すると、日本は駅中、駅近で購入ができ、物理的に店舗へ直接出向いて買うことが非常に簡単です。日常の導線上から逸脱しないで購入できるわけです。そうすると、実物を見ないで買うリスクとのバランスを考えると、どうしても実物をみる方が安心で買いやすいという心理が働いているのではないかと思います。デジタルは商品選びに利用するが最終的な購入は店舗ということです。
これは逆に考えると、OMOの施策が打ちやすい市場だとも考えています。WEBだから「必ずデジタルで、ECで売り上げをたてないと」と考えるのは時代的には遅れた捉え方です。たくさんのブランドがすでに、WEBで訴求展開しながらリアルに誘導するという取り組みを始め、それが主流となってきています。

例えばあるヘアカラーブランドでは、商品のパッケージにWEBサイトやヘアカラーがトライができるサイトに直行できる二次元バーコードを印字しています。たくさんの人が触れるような店頭ipadを使うことなく、自身のスマホで簡単に髪色のバーチャルシミュレーションを試すことが可能です。また、こういったARトライオンの導入に伴い、店頭で色味を確認する毛束サンプルを撤廃しています。こういったヘアカラーのサンプルは、プラスチックでできていて年間数トンのゴミになるらしく、便利で衛生的なだけではなくSDGs的にも貢献できるということで、弊社としても嬉しい限りです。

現在では、リモート接客を支援するサービスも提供していますね。

はい、「BA 1 on 1」というリモート会議によるサービスがあります。これはリモート対面型のチャットで、接客するスタッフの操作によって、お客さまの顔にメイクをのせて、カウンターのタッチアップ体験をリモートで行うことができるものです。

画像: null

また、他にもライブ配信に対応するツールも提供しています。ライブ配信で商品のアイコンをタップすると、ユーザー自身の顔に切り替わってカラーバリエーションを試すことができるというものです。ブランドサイトに埋め込みもでき、アプリなどダウンロードすることなくウェブサイトで使用が可能なので、ライブ配信からECに遷移させることができます。

また、これは社内向けのものとしてブランドのBAに向けてのトレーニングサービスとしても展開しています。登録しているBAにライブ配信でトレーニングするときに上記のようなタッチアップができるというものです。たとえば、とある企業では3年前から活用いただいていますが、人数を集めなくても良いのでコストの削減にもなり、コロナ禍になってからは特に役立っているそうです。

メイク以外の領域にも拡大する予定はあるのでしょうか?

本格的にファッション領域にもはいっていく予定です。かつて静止画ベースでネイルのバーチャルトライは提供していましたが、ARでないとビジネスに活用するのは難しく、沢山のブランド様からリクエストはいただいており、この夏、動いている手の爪に色をのせることができるようにった機能がリリースされています。

また、最近リリースされたもので、3D ARを活用したアイウェアのトライオンがあります。これまでにも技術的に同様なものは存在していましたが、アイウェアのCGを書くところから始めるため非常に高価なものになっていて、ビジネス展開までは難しい状況でした。
しかしながら、眼鏡の正面と、左右の3種類の画像を用意していただければ瞬時にAR化をすることができるようになり、また精度もあげることに成功したため、今回展開を開始しています。
こちらはPD値という瞳と瞳の距離を自動検出する機能を備えています。メガネ屋さんに行くと計られているものですが、これに応じてサイズ感を自動的に設定し、3Dメガネをかけるというサービスです。老眼や近眼のユーザーの場合は、メガネを外すとバーチャルでトライオンした様子を自分で確認できないため、数秒のビデオクリップで自分の顔を撮影し、それにメガネを後乗せすることもできます。また、再現性を高めるためにレンズのテクスチャや色味、透過度、フレームの透過度の調整も可能になります。メガネに映り込む風景ですとか、メタリックなフレームの反射など、非常に細部まで作り込んで頂けます。

あとイヤリングの3D ARもあります。顔を動かしても確実に追従し、作り物感のないよう、イヤリングの重さに応じて揺れ具合までリアリスティックに再現できるものになります。こちらも、デザインの3Dデータをご提供頂くか、5,6点の画像があれば弊社でAR化することが可能です。

ツールとして使い倒すことで、良い体験が提供できる

では、今後の展望をお聞かせください。

企画やUXの複雑さにもよりますが、今は新しいブランドがバーチャルメイクをやりたいですとなったら、ローンチまでおよそ1ヶ月から半年くらいかかります。これを短縮して、完全なインフラレベルになることを目指しています。コンセントのように繋げば電気を使える、というレベルまで持っていければ、各ブランドが自社で開発する必然性が無くなってくると思うんです。相当な理由がない限り、電気を自社で作るところから始めるということはないと思います。大事なのは、電気を使う道具で何ができるか。なので、ARとパーソナライゼーションのサービス提供のための土台となるツールとして、使い勝手の良さを追求していきたいと思います。

こういった形式を実現するための課題はどこにあるのでしょうか?

組織的な課題という意味では、他社との連携の部分です。APIやプロトコルの共通化などが重要になってくると思っております。色々なプラットフォーマーや企業が簡単に使えるサービスにしていかないとならないですし、弊社のビジネスユーザーであるブランドの使用するコンソールの自由度アップや簡易化を進めていくことなどが必要になるかと思います。

結局は「体験」が一番大切です。デジタルを使ってどういうユーザー体験が提供できるかを考えていくためには、その土台となるテクノロジーは、我々がいうのも何ですが、二の次になりますよね。そこから先にあるユーザー体験の設計、リレーションシップの構築が最も重要となります。
我々はあくまでツールの提供であって、ブランドごとの差別化を我々がするわけではないですし、これを使えば完璧というものではないです。技術的なものを使うときに、技術に囚われるのではなくて、上の10%のところを本気でやりましょうということを発信していきたいと思っています。使いこなす、使い倒すくらいの勢いでこれらのツールを上手に使っていただけるようなブランドが、これから絶対に強くなるということをご理解いただきたいです。この考え方は、弊社が提供するサービスだけではなく、色々なツールで同様だと思います。我々としても、カスタマーサクセスという部分にも注力し、いかに使いこなして良い体験を消費者に提供してもらうかをサポートしていきたいと思っています。

#BeautyTech
LINEでシェアする