ホロレンズで3Dサッカー観戦が実現！ホログラフスポーツ観戦の事例まとめ

スポーツ観戦といえば「現地のスタジアムで観る」「テレビもしくはストリーミングで観戦する」という二通りのスタイルが主流です。

MicrosoftのMRヘッドマウントディスプレイ「HoloLens（ホロレンズ）」は、スポーツ観戦の未来を全く変えてしまうかもしれません。ホロレンズを使用したプロジェクト「Soccer On Your Tabletop」は、サッカー中継映像を3Dに変換。自宅のテーブルの上に、選手の動きを完全に再現。ホロレンズによる3Dサッカー観戦を実現しています。

今回はそんなホロレンズを活用した、ホログラフィックなスポーツ観戦の事例を解説します。

この記事の目次

1 ホロレンズ（HoloLens）とは
- 1.1 マイクロソフト製のMRデバイス
2 Soccer On Your Tabletopとは
- 2.1 カメラ一台のサッカー中継映像を3Dに変換。HoloLensで机の上にAR表示
- 2.2 テーブルの周囲を移動すると、動きに合わせて映像が変化
3
4 GitHubにYouTube映像を3D変換するプログラムが公開中
- 4.1 YouTube映像のダウンロードとavconvによるフレーム抽出が必要
- 4.2 Unityプロジェクト(2018.1対応）が公開中
5 MicrosoftはホロレンズによるNFL観戦動画を公開
- 5.1 ホログラフィックトレーニングを導入済みのNFLチームも登場
6 まとめ

ホロレンズ（HoloLens）とは

ホロレンズとはそもそもどのようなデバイスなのか。概要を解説いたします。

マイクロソフト製のMRデバイス

ホロレンズは、マイクロソフト製のMR（複合現実）が体験できるデバイスです。ホログラフィックコンピュータとヘッドマウントディスプレイを組み合わせた端末で、装着するとMR体験ができます。透過性のあるレンズを利用し、ホログラフィックと現実の世界がリンクし合う体験を提供します。

HTC ViveやOculus Riftと行ったVRデバイスとの大きな違いは、スタンドアロンでの動作が可能なこと。パソコンやスマホとの接続は不要です。

ホロレンズに表示されるホログラフィックは、他者との共有ができます。その利点を生かし、ビジネスシーンを中心にホロレンズは活用されています。例えば遠隔地との会議や、プレゼンテーション。自動車などの製造のモデリングなどに、ホロレンズは使用されます。

日本では2017年に発売されたホロレンズ。現在は次世代ホロレンズの開発が進められています。

はじめての転職、何から始めればいいか分からないなら

「そろそろ転職したいけれど、失敗はしたくない……」
そんな方へ、読むだけでIT転職が有利になる限定資料を無料でプレゼント中！

Soccer On Your Tabletopとは

カメラ一台のサッカー中継映像を3Dに変換。HoloLensで机の上にAR表示

Soccer On Your Tabletopは、ワシントン大学とFacebookおよびGoogleのチームによる「Microsoft HoloLens」を活用した研究プロジェクト。

サッカーの一般的な中継映像から3D映像を生成。

その3D映像をテーブルに投影すると、HoloLensを通じ、家のテーブルの上にサッカーのピッチが登場。選手たちが走り回る様子が見られるというものです。

GitHubに公開されているSoccer On Your Tabletopのサンプルとして使われているビデオは、YouTubeに公開中の2013/2014シーズンのFCバルセロナとアトレティコ・マドリードの対戦。このシーズンの優勝決定戦でした。結果は1対1の引き分けで、アトレティコ・マドリードが優勝を決めた試合でした。

テーブルの周囲を移動すると、動きに合わせて映像が変化

Soccer On Your TabletopではYouTubeのビデオのフレームを検出。プレイヤーごとに四角で囲い、姿勢やフレームをまたがる動きの軌跡を抽出。選手ごとに解析を行います。そしてディープネットワークを用いて深層情報の決定を行い、ARデバイス向けにレンダリングをします。

3Dで奥行きも再現されるため、映像を出力したテーブルの周りをぐるりと回ると、その動きに合わせて映像が変化します。よって一般的な中継映像よりも、選手同士の位置関係が把握しやすく、高い臨場感が得られます。

サッカーファンの新たな観戦スタイルとしては勿論、選手がテクニックを学ぶためのツールとしても有効です。またプロチームのスカウトや戦術分析の担当者が、試合を分析するためのシステムとしても重用されるようになるでしょう。

ただし、現行のSoccer On Your Tabletopは、選手が重なり合う場面などの解析には対応していません。よってあくまで3Dに出力できるのは試合の一部分に過ぎません。今後のさらなる洗練が期待されます。

この記事のハッシュタグ

GitHubにYouTube映像を3D変換するプログラムが公開中

Soccer On Your TabletopのGitHubには、YouTube映像を3D変換するプログラムのソースコードが公開中です。リポジトリのダウンロード、インストールは以下のコードで可能です。

# SOCCERCODE=/path/to/soccercode

git clone https://github.com/krematas/soccerontable $SOCCERCODE

pip3 install -r requirements.txt

–出典：GitHub

Soccer On Your Tabletopでは、気軽に3D変換と出力を楽しむためにサンプルのデータセットを用意しています。サンプルを用いて、まずは変換を試してみたい方は以下のデータもダウンロードしておきましょう。

wget http://grail.cs.washington.edu/projects/soccer/barcelona.zip

unzip barcelona.zip

# DATADIR=/path/to/barcelona

barcelona
├── images
├── 00000.jpg
├── 00001.jpg
├── …

–出典：GitHub

選手ごとに姿勢や動きの軌跡を解析するためのコードは、下です。Facebookのオープンソースのオブジェクト検出ライブラリ「DETECTRON」が使用されています。

mkdir $DATADIR/detectron

# DETECTRON=/path/to/clone/detectron

cp utils/thirdpartyscripts/infer_subimages.py ./$DETECTRON/tools/

cd $DETECTRON

python2 tools/infer_subimages.py –cfg configs/12_2017_baselines/e2e_mask_rcnn_R-101-FPN_2x.yaml –output-dir $DATADIR/detectron –image-ext jpg –wts https://s3-us-west-2.amazonaws.com/detectron/35861858/12_2017_baselines/e2e_mask_rcnn_R-101-FPN_2x.yaml.02_32_51.SgT4y1cO/output/train/coco_2014_train:coco_2014_valminusminival/generalized_rcnn/model_final.pkl $DATADIR/images/

–出典：GitHub

より詳細な設定や、最新の情報はGitHubより確認してください。

・GitHub

YouTube映像のダウンロードとavconvによるフレーム抽出が必要

サンプルの試合動画のデータセットを見ていただくと、YouTube映像はダウンロードされた上でフレームごとに分割されているのがわかります。

Soccer On Your TabletopではYouTube映像を、avconvというソフトを用いて分割。映像を細かく切り出した上で、3D映像に変換しています。任意の試合のデータを、テーブルに投影して楽しみたい方は、avconvも合わせてダウンロードしておきましょう。

・Libav（avconvはLibavに含まれています）

Unityプロジェクト(2018.1対応）が公開中

Soccer On Your Tabletopでは、Unity2018.1対応のUnityプロジェクトが公開されているため、Unity 2018をインストールすればすぐに開発が始められます。

MicrosoftはホロレンズによるNFL観戦動画を公開

ホロレンズのコンセプトムービー「Microsoft: Imagining the future for NFL fans」では、MicrosoftとアメリカンフットボールリーグのNFLが共同で、未来のスポーツ観戦の形を提示しています。

ホロレンズを装着して顔を上げると、自宅のリビングにNFLの選手が出現。背番号や身長など、選手のホログラフとともに情報が用事されます。

テーブルの上にホログラフで試合の1シーンが出現。ボールの軌跡もグラフィック化されています。

ホログラフィックトレーニングを導入済みのNFLチームも登場

NFLはホロレンズとホログラフィック技術の導入にもっとも積極的なプロスポーツリーグの1つです。

アメリカのスタートアップ「Mixed River」は、ジム・ピエティーラとカールソン・ブルがメリーランド州ボルチモアで設立したVR・AR・MR分野の企業。

同社は世界で初となる、アメリカンフットボール向けのホログラフィックトレーニングプラットフォームを開発。NFLチーム「ボルチモア・レイブンズ」と2017-2018シーズンの1年契約を締結し、ホグラフィックトレーニングのプラットフォーム「PRE-GAME PREP」を提供しました。

コーチはフォーメーションやディフェンシブフロントラインの動きの確認のため、独自のプレイブック（アメリカンフットボールの戦術集）を作成。即時に確認できます。プレイヤーはそれらをあらゆる角度から確認可能。いずれもボディコンタクトが発生しない仮想空間でのトレーニングのため、怪我がないというのも大事なポイントです。

ホログラフィックトレーニングを通じて、プレイブックに成熟した選手たちはシーズンが開幕すると高い戦術理解度を持って試合に望むことができます。