メディア研究者である立命館大学産業社会学部准教授・飯田豊氏とお送りする特集企画「都市とメディアの過去/現在/未来」。今回は、身体性メディアやハプティクスといった研究を手掛ける慶應義塾大学大学院メディアデザイン研究科教授・南澤孝太氏の研究室をお訪ねし、飯田氏自らインタビューを行いました。
コロナ禍でリモートでの生活を経験した今、メディア体験や都市文化の未来はどのようなものとなるのか、メディアと都市、そこでの身体性をめぐる多様な対話をお届けします。
慶應義塾大学大学院メディアデザイン研究科(KMD) 教授
科学技術振興機構ムーンショット型研究開発事業 Cybernetic being Project プロジェクトマネージャー
1983年、東京都生まれ。2005年 東京大学工学部計数工学科卒業、2010年 同大学院情報理工学系研究科博士課程修了、博士(情報理工学)。KMD Embodied Media Project を主宰し、身体的経験を伝送・拡張・創造する身体性メディア、サイバネティック・アバターの研究開発と社会実装、Haptic Design Projectを通じた触覚デザインの普及展開、新たなスポーツを創り出す超人スポーツやスポーツ共創の活動を推進。日本学術会議連携会員、超人スポーツ協会事務局長、テレイグジスタンス株式会社 技術顧問、サイエンスアゴラ推進委員等を兼務。
専門はメディア論、メディア技術史、文化社会学。1979年、広島県生まれ。東京大学大学院 学際情報学府 博士課程 単位取得退学。著書に『テレビが見世物だったころ:初期テレビジョンの考古学』(青弓社、2016年)、共著に『新版 メディア論』(放送大学教育振興会、2022年)、編著に『メディア技術史:デジタル社会の系譜と行方[改訂版]』(北樹出版、2017年)、共編著に『現代文化への社会学:90年代と「いま」を比較する』(北樹出版、2018年)、『現代メディア・イベント論:パブリック・ビューイングからゲーム実況まで』(勁草書房、2017年)などがある。
僕自身の研究を遡ると、学部時代から触覚に関心がありました。そして人がモノに触れたり人に触れられたりする感覚を、バーチャルリアリティ(VR)内でどう伝えるかということを研究していました。そこから「身体」に関心が広がり、現在は 「Embodied Media」(身体性メディア)という、身体とデジタルテクノロジーに関わる研究室を開いています。
5、6年前からVRが普及し始め、最近ではFacebook社がMetaに社名変更するという、まさかの事態が起きました。VRの社会実装が一気に加速した契機は、このコロナ禍でいかにオルタナティブな世界を作り、そこで社会活動やコミュニケーションを継続するのかを様々な企業が考え、取り組み始めたことだと思います。現実世界だけではなく、複数のレイヤーとしてメタバースが広がっていく社会を、今まさに実現しようとしていると僕らは捉えています。
他方でメタバースは、バーチャル世界からいかに実世界に降り立つかということも重要になっています。いわゆる「アバター」とは、人がバーチャルな存在になってサイバー空間で活動するための自分の分身のようなものですが、たとえば、僕らが「テレイグジスタンス(遠隔存在)」と呼ぶ、ロボットと自分との感覚を相互に接続し、ロボットを自分の分身として操るための技術のように、サイバー空間での活動を再び実世界に降ろすことができると、現実の世界でも空間や距離、時間を超えて活動できるようになります。こういった実世界アバターの技術が、メタバースと融合しつつあるところです。
そこで、僕らは「身体」に注目しました。身体を通じて得られる様々な経験を、時空間を超えて他人と共有したり、ゼロから新しい体験を作り出したり、さらには普段の体験を拡張していくことを目指しています。それらをひっくるめて、僕らは「身体性メディア」と呼んでいます。
昔は触覚を伝えようとすると、どうしてもメカメカしい技術が必要で、ユーザーはおろか、コンテンツやサービスをつくる人たちの手にも届いていませんでした。そこで、誰でも簡単に使える装置をつくって広めようと、この10年、簡単に触覚を伝えられる装置を色々とデザインしたり、新しいサービスやプロダクトに繋げるという活動をしています。
ここからの展開として、XRやVRの世界で身体全体を使って何かを体験するというプロジェクトを行いました。その1つが、2015年頃に取り組んだ「シナスタジア・スーツ」です。PlayStation VRの発売にあわせて、ゲームの世界に入り込んだような体験を身体全体の感覚として伝えようということでつくりました。また、人の体験や感覚を別の場所にテレポートさせる技術として、テレイグジスタンスをさらに拡張した、サイバネティック・アバターの研究開発(Cybenertic being Project)にも取り組んでいます。
その他にも、僕らが新しい身体をデザインできるようになるとしたら、どういう身体が欲しいだろうか/それによってどういう新しい能力が手に入るだろうか、といったことも研究しています。人に尻尾をつけるArqueや他の人と融合して4本腕になるFusionなど、まさに人間拡張ですね。コロナ禍の影響で難しい面もありましたが、2020年のオリンピックやパラリンピックに向けて、こういった新しい技術でスポーツを革新しようという「超人スポーツ」という活動も行っていました。
僕らが目指しているビジョンや方向性のひとつに、知覚を変えることで世界観を刷新するということがあります。身体で知覚できる世界はどうしても肉体に縛られているので、その限界が僕らが捉えられる世界の限界になってしまいます。ですから、身体を拡張することで多様なものを感じられるようになったり、あるいは世界の多様な事象や出来事を身体に届けられるようになったりすれば、僕らの世界観が広がっていくだろうと考えています。
さらに、そのような技術によって人が共感を持って繋がることを目指しています。僕らはお互いに触れ合うなかで、親密感や信頼感を築いています。これはおそらく動物が持っている本能的な性質です。インターネットというメディアでは、こういった触れ合いがどうしても欠けてしまい、それによって分断が加速していると僕らは捉えています。だからといって「昔の村社会に戻ろうよ」というわけにはいかないため、いかにデジタルの世界で身体感覚を取り戻すかが大事になってきます。
また、純粋に人間の肉体の限界を広げていくことで、人類ができることを増やすということも考えられます。たとえば、宇宙で活動するには何十億円という費用、それに命をかけて人を飛ばし、不便な宇宙服も着なければなりません。もし宇宙ステーションにアバターが置いてあれば、予約してログインすることでいつでも活動ができたり、観察ができたりする。こういった肉体に縛られないポテンシャルの拡張が実現できます。
これは、いわゆる障がいと呼ばれている分野にも適用できます。僕らは現在、高齢者コミュニティや特別支援の子どもたち、障がいを抱えている方々と一緒に活動しています。要は、宇宙人から見れば人類みんな障がい者だといった姿勢で考えたときに、僕らの社会に現在ある障がいは、こういった技術で解決できるんじゃないかと思っています。
最近取り組んでいる最も大きなプロジェクトは、国の戦略として進めているムーンショットと呼ばれるもので、少子高齢化社会における問題を解決する手段のひとつとして、2050年ぐらいまでに人類が時間や空間、身体の制約を超えて活動できる社会を作ろうというミッションを掲げています。そこで僕らが目指しているのは、多様な技術を使うことで多様な人が一緒に様々なことを体験できる楽しい生活スタイルをデザインする「Cybernetic being Project)」というものです。現在、日本でも大小問わず様々な企業がテレイグジスタンスアバターのような技術で、新しい働き方をつくっていくことに取り組んでいます。障がいなど何らかの制約のある人は、このアバターで救われるという事例も増えてきています。たとえば、入院しているおばあちゃんが分身ロボットを使ってお孫さんの結婚式に出席したり、寝たきりの方がアバターで働いたり学校に行ったりできるということが既に現実になっています。
それこそ僕も、小学生のときからメガネを掛けていたので「やーい、メガネ」と言われた記憶がありますが、今はみんなが普通にメガネをかけてるので、視力が弱いということをあまり意識しないで生活できていますよね。そのような感じで、障がいの有無に限らず自分の肉体以外にもう1個か2個、アバターの身体を持っていて日頃から活用するような生活も、いづれ「普通」になるのではないかと思っています。
このプロジェクトでは「サイバネティック・アバター」といって、デジタルとフィジカルの世界を股にかけるような新しい自分の分身として、アバターをもうひとつの身体と捉え直すことを目指しています。僕は日本人男性としての生活しか今は持っていないですが、アバターの世界の中では別の人生を送れるかもしれない――そういうことを考えています。
僕らは裸でいるとき、それはナチュラルな状態ではないですよね。服を着ている状態の方が実はニュートラルなんです。だから、僕は服も含めて身体だと捉えています。身体は単に行動するだけの器官ではなく、コミュニケーションにおけるメディアであり、この人がどういう人であるかを表現することを含めて身体です。そのため、アバターは服と肉体がひとつのモデルとして繋がっている状態と捉えています。
最近では、服を着替えるようにアバターを着替えることができるといいと思っています。たとえば東京大学准教授の鳴海拓志さんとの共同研究では、自分と異なるジェンダーのアバター、頭が良さそうなアバター、ノリが良さそうなアバターなどを利用すると、行動が変わるということがわかっています。この現象は服でも起きていて、スーツを着るとモードが変わるような感じです。人格がある意味チェンジするわけです。
そういう意味で、服もアバターも人間のモードをチェンジし、どういう人であるかということを切り替えていくためのインターフェイスだと思います。先程の尻尾や第4の腕も、ある意味で服ですと言ってもいいかなと。それを着た自分は新しい自分になるといった感覚でいけると面白いと思っています。
南澤さんは以前、義手楽器の開発に関して、「義手がファッションになっていく社会をめざしたい」と語っていましたね。
MusiArmプロジェクトは僕の研究室の学生が、生まれつき腕のない方と一緒に行ったもので、その方は音楽が好きだったのですが、楽器を弾くとなると義手では器用な動きが難しかったのです。そこで、義手ごと楽器にすればいいのではという発想で作られたのが、トロンボーンやギターの形をした義手です。実際に使ってもらうと、弾けるんですよね。
こうなると、義手は手が欠けてて不便だから着けるというより、何か新しいことをしたいから着ける、かっこいいから着けるといった発想になり、インクルージョンという観点からも、その方が社会の中に溶け込み、可能性も広がると思っています。腕のない部分を何でも着けられる余地だと捉えるという発想です。実際に演奏してもらうと、僕らよりずっと自由でかっこいいんですよ。楽器を自由に替えられるし、身体を動かしたら音もそれにあわせて変わるようになっているので、演奏している姿そのものがかっこいい。
こうなると、ほぼファッションですよね。別の服ですと、デジタルの世界と感覚レベルで繋がれる触覚スーツをつくりました。この服を着て街を歩くと「ポケモンGO」 や「Ingress」 みたいに、この世界に別の生物が住んでるような感覚が、触覚を通じて、身体レベルで伝わるというものです。目の見えない方がこういった服を着ると、杖をつかなくても感覚で周りの気配やどちらに行くべきか、危ないものが近づいてきているということがわかるようになります。このように、服をデジタルと自分を繋ぐインターフェイスとして捉えると面白いと思います。
「身体性メディア」が南澤さんの研究全体のキーワードですが、メディア研究者の立場からすると、ここには複数のメディア概念が織り込まれていると思いました。言うまでもなく、身体を拡張するというのはマクルーハン的なメディア理解ですが、人々が共感を持って繋がれる世界の話というのは、技術の可能性への期待が非常に大きい一方、南澤さんのご研究は、人間の多様性への期待も大きいですね。
コロナ禍の現在、メディアについて学んでいる学生たちと話していると、以前よりも「身体」に対するこだわりが大きいように感じています。皮肉な話ですが、オンライン授業でしか他者と関われないことに対する不自由さを感じている一方、学校という空間に必要以上に拘束されていたことにも気づき、逆に自由さを実感している面もあるでしょう。僕自身も同じです。
身体の拡張といっても、メディアによって知覚が遠隔化することと、それをもって共感が共有されたり連帯が育まれたりすることとは、本来まったく別の話で、南澤さんはそれぞれの事例にそくして最適解を考えていらっしゃることが非常によくわかりました。
ムーンショット型研究開発制度のように大きなプロジェクトでは、社会実装をとりわけ入念に考えていかなければなりませんが、南澤さんは今に始まったことではなく、もともと社会還元を強く意識されてきましたよね。そのような研究姿勢を取るようになったきっかけは、どのようなものだったのでしょう?
僕が学生として触覚を研究するようになったとき、最初はロボットのような触覚ディスプレイを使うなど試行錯誤していました。当時から、触覚研究はいずれ医療やエンタメにも使われるとみんなが語っていましたが、誰ひとりとして実際にはやっていませんでした。なぜなら、複雑すぎて簡単に使ってもらえないからです。そこに対する違和感があったというのが理由のひとつです。
また、研究室で使う機器が何千万円もするのに対して、ゲーム機に使われているような装置は数万円で手に入るというギャップがあり、そこにも違和感を覚えていました。当時、WiiやKinectといった、現実での運動をゲームに反映させるプロダクトが出始めたタイミングで、これができるなら、そこに触覚をつければいいとも思いました。そこで、とりあえず1回安くして、誰でも簡単に使えるレベルまでハードルを下げようということを試みました。面白いことに、高いものを頑張って重たくつくるよりも、軽く手軽に小さくつくる方がクオリティも上がっていきます。触覚ならではかもしれませんが、重たい装置をはめたら、その重さがノイズになってしまうので軽いほうが良い感覚が出せたのです。結果としてクオリティーが高く、かつ安くて使いやすい触覚ディスプレイができました。
そして触覚というメディアの宿命なのですが、体験してもらわないとわからないという問題もあります。視覚メディアや聴覚メディアは、そのまま世界中に広められますが、触覚はどうしても手元で感じてもらわないといけない。なので、とにかく何回も展覧会に出展したり、ワークショップをしたりすることで、のべ100万人を超える規模で体験をしてもらいました。そういう活動をしていると、ビジネスやサービスに使いたいという話をいただくようになり、草の根的にコラボレーションが発生します。このあたりから僕も戦略的に動き始め、体験できる場をつくり、ユーザーが集えば、その中から萌芽的にアイデアが生まれていくようになりました。その芽を育てていくようなコラボレーションをしていければ、ちゃんとプロジェクトになって社会に出ていくだろうと感じました。
触覚メディアに固有の制約から始まるというのは面白いですね。以前「展覧会で100万人に体験してもらうと人口の1%になる」ともおっしゃっていましたが、そういうムーブメントを仕掛けていくという発想は興味深いです。コミュニティメディアが、草の根的な活動を通じて地域に根ざしていくプロセスとも近いところがあります。
触覚メディアを最初に体験してハッとなる感じは、ちょっとしたマジックなんです。この魔法にかかったような体験を、なるべく多くの人に伝えたいというところから始まっています。そしてコミュニティが成長するにしたがってプロジェクトが起こってきましたが、僕らだけで進めるとプロダクトを出して終わってしまいます。ビジネスとしてサステナブルに続けていくためには、それぞれの会社のなかに触覚に関することができる人がいないと無理だ、と言われるようになりました。そこで会社の中に「ハプティック・デザイナー」を名乗る人が増えていけば、最初に僕らが色々なものを伝えるだけで、その後は自発的にプロジェクトを育てていってくれるだろうと考えるようになりHAPTIC DESIGN PROJECTを始めました。そうすると実際に「ハプティック・デザイナー」と名刺に書いてくれる人も現れ始めました。名刺に書くと、 社内ではそういうことができる人だと認識されるんですよね。それっぽい案件が来るとその人に届き、結果としてノウハウが溜まっていきます。そして、その人がコアになって新しいプロジェクトが育っていくということが起こっています。
南澤さんは「メディア」と「テクノロジー」という言葉を、意図的に区別して使っていますよね。
メディアデザイン研究科に所属しているということが、理由のひとつだと思います。東京大学工学部に所属していたときには、すべてを「テクノロジー」として捉えていました。メディアデザイン研究科に赴任し、周りの学生がエンジニアではなく美大生やデザイナー、文系出身の人たちになり、彼ら彼女らにテクノロジーという言葉で説明をすると、そこでシャットアウトしてしまうんですよ。テクノロジーを道具として捉えてもらわないといけないのですが、すべての開発環境をはじめに整えようとすると、それだけで終わってしまう。反対に道具を提供すると、新しいテクノロジーのポテンシャルを探すことが得意な人が多い。こういった環境のなかで、僕のスタンスが「メディア」という側に移ったのだと思います。
僕はメディアも道具に近いものとして捉え、その上に新しいエクスペリエンスをつくろうとしています。今までのように技術開発をしていると、その研究のスパンではユーザーの体験やライフスタイルにまで到達しない。僕らのチームには技術の開発や発展が得意な人たちもいて、そこに技術を体験に繋げていくのが得意な人たちも合わさり、一気通貫でやれるようになっています。
「Embodied Media」という概念は、南澤さんが独自に考案したものですか?
そうです。2013年くらいまでは「Haptic Media」と呼んでいました。徐々にスポーツや体を動かすといった領域にまで広がり、もうハプティック(触覚)ではないなと思ったとき、「身体」という言葉が適切だと思いました。身体がメディアになるというキーワードが出てきて、そこから「身体性メディア」に繋がったという感じです。
当時、Embodied Mediaという言葉を「実体化したメディア」という意味で使っている人たちもいたのですが僕らのほうは、Body as Mediaみたいな意図で、Embodied Mediaです。
南澤さんの研究で、「都市」が焦点になることはありますか?
最近の関心は、都市に寄ってきていると思います。触覚から身体への流れがあり、その次が身体から社会へ、という感じです。はじめは手と指を扱っていましたが、それが身体になったことで、複数の人の関わりに関心が向くようになりました。我々がどのようにコミュニティや社会を形成しているのかを考えたときに、その最小単位が身体になるのかなと思っています。
身体という最小単位が集合して社会ができ、それが体現しているのが都市や街という概念であると捉えたとき、街が、身体というひとつひとつのエージェントが動くプラットフォームになるとも考えることができます。
人の経験がデジタルネットワークと繋がり、物理的な都市ではないところから情報を得られるようになるとすると、次の社会の設計をどのようにしなければいけないかという課題が生まれます。そこで先程のテレイグジスタンス・アバターのように、職住接近みたいな現在の都市構造を前提から変えるようなことも含め、人の活動やコミュニティのあり方を考えていかなければなりません。
アバターを研究していると、面白い使い方が色々と出てきています。まだアバターが一般的でなかった頃にも、海外から「私は日本で過去に犯罪で捕まって入国できないので、あなたたちの技術でもう1回日本に行くことができるか」といった問い合わせが来て、入国という概念も肉体に紐付かなくなると気付かされました。そうなると、都市や国家とは何だろうかと。
サイバーワールドは、国境のような境界線がない世界です。これが僕らの生活に流入してきたとき、住む場所や働く場所といった暮らしはどうあるべきなのか、それは大きなアジェンダになってきていると思っています。
以前のインタビューでは、「法律の壁があるなかで、それを打ち破るために新しい街をつくろうとしている」という話をされていましたね。
この研究室のある竹芝エリアは国家戦略特区になっており、新しいテクノロジーが日常のビジネスや生活に広まっていくため、それを実証実験できるような場所になっています。
たとえば、このビル1階にあるローソンは僕らが参画しているTELEXISTANCEという会社が運営していて、ロボットが働いています。24時間の品出しを別の場所からアバターを使ってできるようになっていて、それをある程度自動で行ってくれるシステムが入っています。これにより、身体のひとつの応用である「働く」という行動の前提が変わってきます。肉体がないと働けないという世界から、肉体がなくても経験値だけ転送できれば、その知恵が活用できるということがあります。
やはり、肉体と行動を切り離して考えられるようになった街とはなんだろう、ということには興味があります。「暮らす」や「働く」という基本的なファンクションが、大きく変わってくると思います。