光学式カメラトラッキングシステム Mo-Sys "StarTracker" を試す

2020年10月14日 13:34

BASSDRUM 公文です。

今回は、光学式カメラトラッキングシステム Mo-Sys "StarTracker" を試したので、そのレポートを共有します。今回は、日本の正規代理店である朋栄さんに協力いただき、実験を行いました。

以前、「SHOTOKU VRクレーンを試す」と表して、機械式のカメラトラッキングの手法を紹介しました。

カメラをトラッキングする手法には、大きく2つの手法があり、

- 機械式：クレーンのパン・チルト軸に物理的なセンサー（エンコーダー）をつけてカメラ位置を検出する方法
- 光学式：床や天井などに反射マーカーを設置し、それを赤外投光器が付いたセンサーユニット（カメラ）を通して捉えることで位置を検出する方法

今回使用した、 Mo-Sys StarTracker は、光学式
前回使用した、SHOTOKU VR クレーンは、機械式 です。

カメラをトラッキングすることで何が嬉しいかというと、以前も紹介しましたが、様々なxRの世界でダイナミックな撮影を可能とします。昨今のオンラインイベントが盛んに行われるようになったことで、さらに注目されています。

実際に触ってみました

◯ 天井または床面にトラッキング用マーカー(反射ステッカー)を貼付するだけで、トラッキング環境を構築可能

トラッキング用のマーカーは Mo-Sys 付属の円形反射ステッカーを、床面もしくは天井面に貼付けます。マーカーは、ある程度ランダムに散りばめて貼ることでそれぞれの場の特徴を作ります。
（写真は分かりやすい様に、フラッシュ焚いているため白く反射してますが、ステッカー自体は反射板なのでグレーです。）

マーカー同士の間隔やマーカーの直径はカメラまでの距離に応じて可変となっており、天井などに貼る場合はもう少し大きなマーカーを採用します。

◯ キャリブレーション

マーカーを貼り終えたら、mo-sys にマーカーの位置関係を覚え込ませます。今回の様に、絨毯にマーカーをつけた場合持ち運びが可能なので、事前にその作業が可能になるため現場での作業時間を削減できます。

下記の様に、天井にマーカーを貼付けた場合は、現場でのキャリブレーションが必要になります。（画像：mo-sys 取説より参照）

◯ ハード構成は「Sensor Unit(camera)」「Processor Unit」「モニター」

- Sensor Unit : LED発光部＆カメラ
- Processor Unit : Ubuntu ベースの小型PC
- Monitor

Sensor Unit から取り込まれた映像を Processor Unit でマーカーの位置を認識＆それを素に自己位置推定を行い、推定結果をモニターに表示しています。もちろん、演算結果(座標データなど)を外部出力するインターフェースも用意されています。プロトコルについては後述。

我々は、床面にマーカーを置いているので、光学センサーユニット（カメラ）は下向きに装着しています。

モニター越しにマーカーの状態を観察できます。赤枠の点が認識しているマーカーです。

もちろんカメラを手で覆うと、マーカーの認識がはずれます。最低11個のマーカーを認識できなと位置検出はロストしてしまいますが、その場合はジャイロに切り替わり位置検出を続けます。

◯ プロトコルは Mo-sys オリジナルの「F4」もしくは「D1」

SHOTOKU VR カメラと同様のプロトコル「D1」とMo-sys オリジナルの「F4」を選択できます。F4プロトコルで取得できるカメラ情報は、

・パン
・チルト
・ズーム
・フォーカス
・xyz座標

これらは、D1プロトコル でも取得できる値ですが、F4プロトコル ではこれらに加え、レンズのキャリブレーションに必要になるパラメータ

・レンズの放射方向の歪み係数 : k1 , k2
・主点座標：CX , CY
・焦点距離：focal length

などが 16.7ms毎(≒60fps) で送出されています。また、FOVを算出するための係数なども用意されています。

◯ 三脚やクレーン、レール、手持ちなどの様々なカメラ運用の形態にも対応

これは光学式の最大の特徴になります。機械式カメラトラッキングはクレーンなどの回転軸にセンサーが仕込まれているが故に、手持ちカメラは適用できません。光学式カメラトラッキングの場合は、床面／壁面／天井に貼り付けたマーカーの特徴点認識なので三脚やクレーンといった機材の制約をうけません。手持ちカメラのトラッキングも可能とします。