スポーツ観戦といえば「現地のスタジアムで観る」「テレビもしくはストリーミングで観戦する」という二通りのスタイルが主流です。
MicrosoftのMRヘッドマウントディスプレイ「HoloLens（ホロレンズ）」は、スポーツ観戦の未来を全く変えてしまうかもしれません。ホロレンズを使用したプロジェクト「Soccer On Your Tabletop」は、サッカー中継映像を3Dに変換。自宅のテーブルの上に、選手の動きを完全に再現。ホロレンズによる3Dサッカー観戦を実現しています。
今回はそんなホロレンズを活用した、ホログラフィックなスポーツ観戦の事例を解説します。
この記事の目次
ホロレンズ（HoloLens）とは
ホロレンズとはそもそもどのようなデバイスなのか。概要を解説いたします。
マイクロソフト製のMRデバイス
ホロレンズは、マイクロソフト製のMR（複合現実）が体験できるデバイスです。ホログラフィックコンピュータとヘッドマウントディスプレイを組み合わせた端末で、装着するとMR体験ができます。透過性のあるレンズを利用し、ホログラフィックと現実の世界がリンクし合う体験を提供します。
HTC ViveやOculus Riftと行ったVRデバイスとの大きな違いは、スタンドアロンでの動作が可能なこと。パソコンやスマホとの接続は不要です。
ホロレンズに表示されるホログラフィックは、他者との共有ができます。その利点を生かし、ビジネスシーンを中心にホロレンズは活用されています。例えば遠隔地との会議や、プレゼンテーション。自動車などの製造のモデリングなどに、ホロレンズは使用されます。
日本では2017年に発売されたホロレンズ。現在は次世代ホロレンズの開発が進められています。
Soccer On Your Tabletopとは
カメラ一台のサッカー中継映像を3Dに変換。HoloLensで机の上にAR表示
Soccer On Your Tabletopは、ワシントン大学とFacebookおよびGoogleのチームによる「Microsoft HoloLens」を活用した研究プロジェクト。
サッカーの一般的な中継映像から3D映像を生成。
その3D映像をテーブルに投影すると、HoloLensを通じ、家のテーブルの上にサッカーのピッチが登場。選手たちが走り回る様子が見られるというものです。
GitHubに公開されているSoccer On Your Tabletopのサンプルとして使われているビデオは、YouTubeに公開中の2013/2014シーズンのFCバルセロナとアトレティコ・マドリードの対戦。このシーズンの優勝決定戦でした。結果は1対1の引き分けで、アトレティコ・マドリードが優勝を決めた試合でした。
テーブルの周囲を移動すると、動きに合わせて映像が変化
Soccer On Your TabletopではYouTubeのビデオのフレームを検出。プレイヤーごとに四角で囲い、姿勢やフレームをまたがる動きの軌跡を抽出。選手ごとに解析を行います。そしてディープネットワークを用いて深層情報の決定を行い、ARデバイス向けにレンダリングをします。
3Dで奥行きも再現されるため、映像を出力したテーブルの周りをぐるりと回ると、その動きに合わせて映像が変化します。よって一般的な中継映像よりも、選手同士の位置関係が把握しやすく、高い臨場感が得られます。
サッカーファンの新たな観戦スタイルとしては勿論、選手がテクニックを学ぶためのツールとしても有効です。またプロチームのスカウトや戦術分析の担当者が、試合を分析するためのシステムとしても重用されるようになるでしょう。
ただし、現行のSoccer On Your Tabletopは、選手が重なり合う場面などの解析には対応していません。よってあくまで3Dに出力できるのは試合の一部分に過ぎません。今後のさらなる洗練が期待されます。
この記事のハッシュタグ
GitHubにYouTube映像を3D変換するプログラムが公開中
Soccer On Your TabletopのGitHubには、YouTube映像を3D変換するプログラムのソースコードが公開中です。リポジトリのダウンロード、インストールは以下のコードで可能です。
# SOCCERCODE=/path/to/soccercode
git clone https://github.com/krematas/soccerontable $SOCCERCODE
pip3 install -r requirements.txt
–出典：GitHub
Soccer On Your Tabletopでは、気軽に3D変換と出力を楽しむためにサンプルのデータセットを用意しています。サンプルを用いて、まずは変換を試してみたい方は以下のデータもダウンロードしておきましょう。
wget http://grail.cs.washington.edu/projects/soccer/barcelona.zip
unzip barcelona.zip
# DATADIR=/path/to/barcelona
barcelona
├── images
├── 00000.jpg
├── 00001.jpg
├── …–出典：GitHub
選手ごとに姿勢や動きの軌跡を解析するためのコードは、下です。Facebookのオープンソースのオブジェクト検出ライブラリ「DETECTRON」が使用されています。
mkdir $DATADIR/detectron
# DETECTRON=/path/to/clone/detectron
cp utils/thirdpartyscripts/infer_subimages.py ./$DETECTRON/tools/
cd $DETECTRON
python2 tools/infer_subimages.py –cfg configs/12_2017_baselines/e2e_mask_rcnn_R-101-FPN_2x.yaml –output-dir $DATADIR/detectron –image-ext jpg –wts https://s3-us-west-2.amazonaws.com/detectron/35861858/12_2017_baselines/e2e_mask_rcnn_R-101-FPN_2x.yaml.02_32_51.SgT4y1cO/output/train/coco_2014_train:coco_2014_valminusminival/generalized_rcnn/model_final.pkl $DATADIR/images/
–出典：GitHub
より詳細な設定や、最新の情報はGitHubより確認してください。
YouTube映像のダウンロードとavconvによるフレーム抽出が必要
サンプルの試合動画のデータセットを見ていただくと、YouTube映像はダウンロードされた上でフレームごとに分割されているのがわかります。
Soccer On Your TabletopではYouTube映像を、avconvというソフトを用いて分割。映像を細かく切り出した上で、3D映像に変換しています。任意の試合のデータを、テーブルに投影して楽しみたい方は、avconvも合わせてダウンロードしておきましょう。
Unityプロジェクト(2018.1対応）が公開中
Soccer On Your Tabletopでは、Unity2018.1対応のUnityプロジェクトが公開されているため、Unity 2018をインストールすればすぐに開発が始められます。
MicrosoftはホロレンズによるNFL観戦動画を公開
ホロレンズのコンセプトムービー「Microsoft: Imagining the future for NFL fans」では、MicrosoftとアメリカンフットボールリーグのNFLが共同で、未来のスポーツ観戦の形を提示しています。
ホロレンズを装着して顔を上げると、自宅のリビングにNFLの選手が出現。背番号や身長など、選手のホログラフとともに情報が用事されます。
テーブルの上にホログラフで試合の1シーンが出現。ボールの軌跡もグラフィック化されています。
ホログラフィックトレーニングを導入済みのNFLチームも登場
NFLはホロレンズとホログラフィック技術の導入にもっとも積極的なプロスポーツリーグの1つです。
アメリカのスタートアップ「Mixed River」は、ジム・ピエティーラとカールソン・ブルがメリーランド州ボルチモアで設立したVR・AR・MR分野の企業。
同社は世界で初となる、アメリカンフットボール向けのホログラフィックトレーニングプラットフォームを開発。NFLチーム「ボルチモア・レイブンズ」と2017-2018シーズンの1年契約を締結し、ホグラフィックトレーニングのプラットフォーム「PRE-GAME PREP」を提供しました。
コーチはフォーメーションやディフェンシブフロントラインの動きの確認のため、独自のプレイブック（アメリカンフットボールの戦術集）を作成。即時に確認できます。プレイヤーはそれらをあらゆる角度から確認可能。いずれもボディコンタクトが発生しない仮想空間でのトレーニングのため、怪我がないというのも大事なポイントです。
ホログラフィックトレーニングを通じて、プレイブックに成熟した選手たちはシーズンが開幕すると高い戦術理解度を持って試合に望むことができます。
まとめ
ホログラフでのスポーツ観戦は、Microsoft HoloLensの普及に伴い着実に広がってきています。GitHubにはすでにYouTubeの中継映像を3D変換。自宅のテーブルに投影可能なソースコードがオープンに公開されています。
またホログラフィック技術は、アメリカではNFLチームのトレーニングに導入済みです。
日本でも今後、ホログラフィック技術が当たり前のものとしてスポーツチームや各種中継に取り入れられていくことでしょう。
未経験からの転職の悩みを解決！無料カウンセリング開催中【転職成功人数4400名以上！※1】
こんな不安や疑問はありませんか？
・未経験から転職して、本当に年収が上がるのか
・ITエンジニア転職後の働き方や稼ぎ方が想像できない
・スキルゼロからITエンジニアとしてフリーランスになれるのか
カウンセリングでは、ITエンジニア転職やプログラミング学習を知り尽くしたプロのカウンセラーが、あなたの悩み解決をサポートします。満足度93%※1、累計利用者数は42,000人以上！※2
無料で相談できますので、気軽にご参加ください。【テックキャンプは給付金活用で受講料最大70%オフ※4】
※1.2018年10月24日〜11月16日(N=106) 2.2020年12月時点 3.テックキャンプ エンジニア転職は経済産業省の第四次産業革命スキル習得講座の認定も受けており、条件を満たすことで支払った受講料の最大70％(最大56万円)が給付金として支給されます
