自撮り✕音楽ビデオARアプリ「JIDO-RHYTHM」で新たな体験！ARKitやUnityについても解説

自撮りと音楽ビデオが融合するARアプリ「JIDO-RHYTHM」。このアプリは、小山田圭吾さん（Cornelius）の書き下ろしの楽曲が使われた「AUDIO ARCHITECTURE：音のアーキテクチャ展」において話題を集めています。

今回は、ポップで楽しいだけでなく、深いコンセプトやクリエイターの想いが込められたこの「JIDO-RHYTHM」について詳しく紹介します。

アプリで使われているARKitやUnityについても理解できますので、プログラミングや映像作品に興味がある方はぜひ参考にしてみてください。

JIDO-RHYTHMとは

まず、ARアプリであるJIDO-RHYTHMがどのようなアプリなのかについて解説します。

「AUDIO ARCHITECTURE：音のアーキテクチャ展」で展示中のユニークなアプリ

JIDO-RHYTHMは、スマホによる自撮りと音楽ビデオを組み合わせた利用者に今までにない新しい体験を与えるARアプリです。自撮りによって取り込まれた自分が音に合わせたエフェクトにより、さまざまな形に変形します。

そのようなリアルタイムの自撮りの映像と、音楽を聴くという行為が重なる体験により、今までにない感覚が味わえるでしょう。音楽は日本だけでなく、海外でも高い人気を誇る小山田圭吾さん（Cornelius）の楽曲が使われています。

このARアプリは、21_21 DESIGN SIGHTで開催中の「AUDIO ARCHITECTURE：音のアーキテクチャ展」にて体験可能。デザイン・アプリ開発・ARに興味がある方は、ぜひ展覧会に足を運んでアプリを体験してみてください。

JIDO-RHYTHM – 自撮りMusicVideoアプリ

辻川幸一郎・渡邊敬之・馬場鑑平がチームで制作

JIDO-RHYTHMは、映像ディレクターである辻川幸一郎さんを中心に制作されました。辻川幸一郎さんは小山田圭吾さん（Cornelius）の作品に欠かせない存在として知られる人物です。

北千住デザインの渡邊敬之さんがプログラム、バスキュールの馬場鑑平さんがプロデュースを担当。

インタビューにおいて、通常のミュージックビデオと差別化を図るために「映像を展示する」「映像のフレーム」という部分に辻川幸一郎さんは焦点を当てたと語っています。

映像のフレームとして日常的に使われているスマホを選び、自撮りの映像を使うことによって独特な没入感を生み出しています。また、「音像を描く」という言葉もポイントの1つと言えるでしょう。

音楽を、日常のものに置き換えたときに、どんな幻覚が見えるかってことかな。音楽がもともと持っている要素ってあるじゃないですか、ビートだったり、楽器の音だったり。そういったものを映像に置き換えるとどう見えるか、みたいな話をするときに、よく「音像」という言葉を使ってます。
引用元：ヒルズライフ HILLS LIFE｜小山田圭吾（Cornelius）の新曲「AUDIO ARCHITECTURE」を体感するアプリ「JIDO-RHYTHM」ができるまで：

ポップで誰にでも楽しめるわかりやすさと、クリエイターの表現に対する多くの想いが込められたJIDO-RHYTHM。ARアプリという括りだけでなく、iOSアプリの中でも高い完成度を誇っています。

iPhone X対応ARアプリとして無料で配信中

JIDO-RHYTHMは、Face Tracking機能やTrue depthカメラを使用したARアプリです。そのため、現状対応しているのはそれらの機能を持ったフラッグシップモデルであるiPhone Xのみです。

iPhone Xを持っていない方は「AUDIO ARCHITECTURE：音のアーキテクチャ展」に足を運び、JIDO-RHYTHMをぜひ体験してみてください。

iPhone Xをお持ちの方は無料でインストール可能ですので、ぜひこのユニークなアプリを体験してみてください。小山田圭吾さん（Cornelius）の楽曲がフルで視聴でき、展覧会のコンセプトを肌で体験できます。また、アプリを利用した方が動画をSNSで配信できることもこの作品の面白さです。

アプリのダウンロードは下記のApp StoreのWebページからご利用いただけます。

‎JIDO-RHYTHM on the App Store

「AUDIO ARCHITECTURE：音のアーキテクチャ展」について

※2021年2月現在、イベントは終了しています

JIDO-RHYTHMをはじめとする映像作品が展示されている「AUDIO ARCHITECTURE：音のアーキテクチャ展」の概要について紹介します。

中村勇吾がディレクションを担当

21_21 DESIGN SIGHTで開催されている「AUDIO ARCHITECTURE：音のアーキテクチャ展」は、中村勇吾さんがディレクションを担当しています。tha ltd.の代表を務め、Webデザイナー・インターフェースデザイナー・映像ディレクターとさまざまな分野で活躍する人物です。

中村勇吾さんは、NHK Eテレ「デザインあ」のディレクションを担当しています。この番組は音楽を小山田圭吾さん（Cornelius）が手がけており、2人の関わりはとても深いです。

「音楽の構造性」「音楽の構築性」などを意味する「オーディオ・アーキテクチャ」というタイトルが決まった際に、小山田圭吾さん（Cornelius）しか頭に思い浮かばず音楽の制作を依頼。この展覧会のために小山田圭吾さん（Cornelius）は新曲「AUDIO ARCHITECTURE」を書き下ろしました。

小山田圭吾（Cornelius）の曲をそれぞれの作家が解釈

小山田圭吾さん（Cornelius）の書き下ろした楽曲を、9組の作家がそれぞれ解釈を行い作品として表現しています。 片山正通さんが会場構成を行なった空間に、1つの楽曲とさまざまな映像作品が流れることで、「音楽建築空間」が構築されることを意図。

小山田圭吾さん（Cornelius）による音楽と、映像・空間が1つになるという体験を通して、新たな世界の見方を開拓してみてはいかがでしょうか。

「AUDIO ARCHITECTURE：音のアーキテクチャ展」の詳細はこちら

• 開催期間：2018年6月29日 〜 2018年10月14日
• 会場：21_21 DESIGN SIGHT ギャラリー1＆2
• 開館時間：10:00 〜 19:00
• 公式Webサイト：21_21 DESIGN SIGHT | 企画展「AUDIO ARCHITECTURE：音のアーキテクチャ展」 | 開催概要

北千住デザインの渡邊敬之がARアプリの技術を解説

JIDO-RHYTHMのプログラムを手がけた渡邊敬之さんが、このARアプリの技術面について解説しているWEBページがありますので紹介します。

デザインだけでなく、プログラミングにも興味がある方にとってはとても興味深い内容ではないでしょうか。

ARとは

JIDO-RHYTHMに使われているARとは、「拡張現実」を意味します。拡張現実はデバイスで認識した現実空間にデジタルデータを重ねることで、文字通り現実を拡張します。

Pokémon GOなどのゲームで使われたり、モノを認識して情報を表示したりといった用途で、すでにさまざまな分野で使われています。今後はより身近な技術になっていくでしょう。

Unity-ARKit-Pluginが使われている

以下のTwitterで紹介されているWebページにおいて、北千住デザインの渡邊敬之さんが「JIDO-RHYTHM」における顔の変形について詳しく解説しています。

UnityでAppleのARKitを扱えるUnity-ARKit-Pluginが使われていることなど、技術に対する説明が行われています。アプリ制作に興味がある方は参考にしてみてください。

AppleのARKitとは

iOS11から搭載されたiPhoneやiPadでのAR体験を手軽に制作できるフレームワークです。ARKitは現実空間の座標を把握して、3DCGを重ね合わせます。

JIDO-RHYTHMでは、顔の位置や動きを認識するFace Tracking機能が使われています。このFace Tracking機能はAnimojiでも使われているので、体験したことがある方も多いでしょう。

ARKitを使えば、iOSで動作するゲームやアプリの制作が可能です。2018年秋にリリース予定のiOS12から実装予定のARKit 2では、持続可能なARのオブジェクトの配置や、他の人のデバイスと共有できるアプリの制作も可能になるとされています。

今後より注目を集めていくことが予想されるARKit。JIDO-RYTHMに興味を持った方は、この機会に挑戦してみてはいかがでしょうか。

展覧会で使用されているUnityとは

渡邊敬之さんがJIDO-RHYTHMで使用したUnity。このUnityは、展覧会においてJIDO-RHYTHM以外の作品にも使われています。

使われている作品の紹介と合わせて、Unityがどのようなものかご説明します。

Unityが使われた作品を紹介

Unityは勅使河原一雅さんの「オンガクミミズ」という作品にも使われています。オンガクミミズは音楽に合わせて、細いミミズのような映像が繊細にうねる映像が特徴です。思わずずっと見ていたい気持ちになる引き込まれるような魅力がたまりません。

その他にも、Unityは奥田章智さんが手がけた展覧会のサインや、「AUDIO ARCHITECTURE」の歌詞画面の映像にも使用されています。

映像作品にも使われるUnity

このようにさまざまな作品に使われているUnityは、世界NO.1シェアを誇るゲーム制作プラットフォーム。しかし、Unityはゲームだけでなく、その機能の豊富さと使いやすさからアプリや映像制作にも使用されています。

高度な映像が作れるだけでなく、Unityはプログラミングの初心者でもはじめやすいという特徴があります。世界的に人気が高いため、書籍やWebサイトも多いので、イメージする作品をスムーズに制作できるでしょう。

映像作品に興味があるデザイナーの方や、プログラミングをはじめてみたいという方にもUnityはおすすめです。

さいごに

今回は、ユニークな体験ができるJIDO-RHYTHMをはじめとする新しい音楽体験ができる「AUDIO ARCHITECTURE：音のアーキテクチャ展」について紹介しました。

小山田圭吾さん（Cornelius）のファンの方はもちろん、映像作品に興味があるデザイナーやアーティストの方にもおすすめの展覧会です。自分でも映像作品やアプリを作ってみたいと感じた方は、UnityでARKitにチャレンジしてみてはいかがでしょうか。

展覧会は2018年10月14日まで開催されています。ぜひ、アプリだけでなく、展覧会の会場でもJIDO-RYHTHMに触れてみてください。

↑目次へ戻る