みなさんは Virtual Reality（仮想現実）を体験したことがありますか？
最近、Oculus Rift やHTC Vive, PlayStation VRなど精度の高いVR(Virtual Reality)ハードウェアがリリースされ、今この業界は大変な盛り上がりを見せています。VRと言われると最新技術というイメージがありますが、意外にもその歴史は長く、1930年代にアメリカのエドウィン・リンク氏が開発した「Link Trainer」がその前身技術と言われています。
VRは最近開発された最新技術ではなく戦前から開発されてきた意外にも歴史のある技術だったのです。
今回は飛躍を遂げたVR技術の中でも、認知科学の知見を応用した「クロスモーダル現象」について解説します。
この記事の目次
ここまできたVRの技術
触覚に訴えかけるVR
Oculus Riftを開発したOculus社創業者のパーマー・ラッキーはこう述べています。
「人々が40年前から考えていたアイデアに、ようやくテクノロジーが追いついた。」
VRは視覚、聴覚に訴えかけることによって没入感を実現しています。
そして最新技術では、ここに触覚が加わります。マイクロソフト社は、VR空間内のオブジェクトを触れた際に、その触覚を伝えるハンドヘルド型のコントローラーの試作機を開発しました。
発表されたのは2つ。
Normal TouchとTexture Touchです。Oculus Riftと光学センサーの組み合わせによって、作られています。
「Normal Touch」は、VR内でユーザーがオブジェクトに触れると、その形状に応じてデバイスの台座の傾きがリアルタイムで変化し、 指先にその物体に触れた感覚だけでなく物体の形状も伝えます。
また「Texture Touch」は、指を乗せる台座に数mm四方の4×4のピンがあり、各ピンが個別に上下運動することで、 NormalTouchよりも細かな凹凸感を指先に伝えます。
今後より現実世界に近い様々なフィードバックの実現により、VRへの没入感はより次元の高いものとなっていくでしょう。
クロスモーダル現象とは？
みなさんは クロスモーダル現象という言葉を聞いたことがあるでしょうか。
クロスモーダル現象とは『仮想体験によって実際に起きていないことを脳が錯覚し、それが起きたと感じてしまう現象』のことです。五感の中のとある感覚が刺激される子tで、脳が情報を補完。実際には起きていないことも、脳の情報補完によって「起きた」と錯覚してしまうのです。
クロスモーダル現象はVR 以外でも日常的に起きている現象です。
例えば風鈴の音を聞くだけで実際の気温より涼しく感じたり、大きなものを食べるとそのカロリー以上に満腹感を感じたりするのはこのクロスモーダル現象によるものです。
クロスモーダル現象は、現象を体感する当人にとっては全く無意識に起きるものです。しかし、その当人の意思決定には非常に大きな意味合いを持ちます。
そこでこのクロスモーダル現象を効果的にVRに取り込み、より高い次元の没入感を再現しようとする研究が行われています。
今や視覚、聴覚に加えて触覚にまで訴えかけるVR。そこにクロスモーダル現象をコントロールする技術が加わったら、もはや現実世界とVRの世界の区別がつかなくなってしまうかもしれませんね。
脳が騙される？ クロスモーダル現象の仕組み
VR技術の発展により、今日では様々な認知の実験が行われています。
例えば実際に行なわれた実験では、被験者にヘッドマウントディスプレイを装着させ、マグロを食べてもらいます。被験者はVRによってトロやサーモンを食べているように見えています。
この時被験者は実際にはマグロを食べているにも関わらず、トロに見えている時はトロの味に、サーモンを食べている時はサーモンの味に感じてしまうそうです。
そう感じる理由に感覚間の優先順位の存在があります。
この実験では、視覚から入ってくるトロやサーモンの情報と実際に口の中に入ったマグロの赤身の味覚情報が脳内で統合されるとき、味覚情報よりも視覚情報が優位に働く仕組みを利用しています。
実際にはマグロを食べたにも関わらず、脳に記憶されているトロやサーモンの味に関する情報が優先されることで、自分が食べたのはマグロではなくトロやサーモンであったと判断されてしまうのです。
この効果のことを「クロスモダリティ効果」と言います。
PSVR向けソフト「サマーレッスン」で起きたクロスモーダル現象
画像出典：サマーレッスン 公式ウェブサイト
2016年にNHK「クローズアップ現代」で放送された「あなたの脳を改造する!? 超・映像体験（バーチャルリアリティー）」でも、番組内の実験でクロスモーダル現象が発生しました。
“じっとしててね。”
女子高生がぐっと顔を近づけた時、その距離１０センチ以下。
ホスト 宮本武蔵さん
「吐息が聞こえたんですよ。 すごいリアルでした。 息遣いが聞こえたときは、本当にドキドキしました。」
ホストの男性が体験したVRゲームは「サマーレッスン」。
VR空間で女の子とコミュニケーションができるゲームです。無論、実際にVR空間の女の子が吐息をしたわけではありません。プレイヤーは視覚と聴覚の刺激によって、目の前の女性キャラクターの実在性を感じ「吐息」を感じたのです。
クロスモーダル現象は、脳の錯覚に基づくものです。よって当人が現実空間でどのような体験をしてきたかにもよって、クロスモーダル現象の質は異なります。
ホストの男性が、吐息を感じた背景には「過去にそのような経験を多数してきた」という面ももしかしたらあるかもしれませんね。
クロスモーダル現象を取り入れた最新技術
クロスモーダル現象を取り入れたユニークなサービスの一部を紹介していきたいと思います。
WRITEMORE
博報堂が発表した学習支援プロダクト「WRITEMORE」です。
「WRITEMORE」とは、「勉強したくなる机」というコンセプトで開発した学習支援プロダクトです。
このWRITEMOREの上で筆記を行うと、生じた筆記音を増幅させて書き手に伝えます。
そうすることで聴覚を刺激し、人、特に子どもたちが文字や絵を描く際の継続意欲や作業効率、学習への楽しさを高めていくことができます。
Meta Cookie
「Meta Cookie」は先ほど紹介したマグロの実験のように、クッキーに対して視覚情報と嗅覚情報を重ねることでクッキーの「風味」を変化させ、食べる人が受け取る味の認識を変化させるシステムです。
カメラによって認識可能なマーカのついたクッキーに、さまざまなクッキーの写真を投影し、さらに嗅覚ディスプレイによって匂いを与えます。この見た目と匂いの変化によって、体験者が食べたときに感じる味が変化します。
そして、体験者は匂い・写真を選ぶことができ、好みの味のクッキーを食べることができます。
Tag Candy
最後に「Tag Candy」を紹介します。
これは食材の食感を変えることのできる味覚デバイスです。
突き刺した普通のキャンディを舐めるだけで、炭酸の食感や林檎を噛むような食感、あるいは花火や飛行機といった現実には存在しない食感等を体感する事ができます。
仕組みはいたってシンプルで、デバイスには振動スピーカーと舐めることを検出するセンサーが入っています。センサーの検出した値を元に振動スピーカーによって振動を発生させ、振動した飴が舌に当ることで食感が伝わるという仕組みです。
いかがでしょうか。
今回紹介したのは一部ですが、ヘッドマウントディスプレイを使用した視覚、聴覚を中心とした拡張現実だけでなく、触覚、嗅覚そして味覚を対象にした様々な拡張現実の技術があります。
これからどんな新しい技術が出てくるのか非常に楽しみですね。
皆さんはどのような拡張現実のシステムが欲しいですか？
未経験からの転職の悩みを解決！無料カウンセリング開催中【転職成功人数4400名以上！※1】
こんな不安や疑問はありませんか？
・未経験から転職して、本当に年収が上がるのか
・ITエンジニア転職後の働き方や稼ぎ方が想像できない
・スキルゼロからITエンジニアとしてフリーランスになれるのか
カウンセリングでは、ITエンジニア転職やプログラミング学習を知り尽くしたプロのカウンセラーが、あなたの悩み解決をサポートします。満足度93%※1、累計利用者数は42,000人以上！※2
無料で相談できますので、気軽にご参加ください。【テックキャンプは給付金活用で受講料最大70%オフ※4】
※1.2018年10月24日〜11月16日(N=106) 2.2020年12月時点 3.テックキャンプ エンジニア転職は経済産業省の第四次産業革命スキル習得講座の認定も受けており、条件を満たすことで支払った受講料の最大70％(最大56万円)が給付金として支給されます
