当社は国立研究開発法人 産業技術総合研究所（産総研）の技術移転ベンチャー企業として発足以来、これまでステレオ画像を用いた3次元計測を主に行ってきました。 ここではその方法について説明をします。
ステレオ3次元計測の原理
ステレオ画像計測の原理は、空間中のある一点を二つのカメラで同時に観測すると三角測量により、カメラから見たその点の位置が計算できるというものです。 それぞれのカメラは位置がわかっている基線の両端にあり、計測対象への角度を測るセンサとして使われます。
カメラキャリブレーション
カメラで三角測量を行うためには、ステレオを構成するカメラの位置姿勢と空間中の点がどのように画像に写るかを知る必要があります。 これは3次元から2次元への射影変換として表すことができます。変換はどのカメラでも同じ形の式を使いますが、その係数はカメラパラメータと呼ばれ、同機種のカメラやレンズを使っていても個体によって異なるものです。
このカメラパラメータを求めることをキャリブレーション（較正）といいます。キャリブレーションはステレオ画像による3次元計測を行う前に必須の作業です。
キャリブレーションは大きさが既にわかっている図形パターンを、位置などを変えて数回撮影し、その画像を元にカメラパラメータを計算することで行います。 当社では水玉模様の独自パターンを定めて使用しています。 キャリブレーション技術も独自のもので、数学的な裏付けはもちろんのこと、作業の簡単さや精度に関するノウハウも含めて具体化しており、他社にひけをとらないものと自負しています。
ところで、レンズを通して撮影した画像で、直線であるはずのものが湾曲して写ることがよく起こります。 これはレンズ歪みと呼ばれ、広角レンズを使用すると特にわかります。キャリブレーションを行う際にはこのレンズ歪みを補正する必要があります。そのため当社は魚眼を含めて各種レンズの歪み補正を行うことができます。 レンズだけでなく、カメラを内蔵した人型ロボット頭部のシールドや水中撮影用気密容器、水槽などにも対応しています。 歪み補正はキャリブレーションと無関係に単独で使うこともあります。
- 魚眼カメラの歪補正
- 水中撮影画像の3次元計測
ステレオ対応検出
空間中のある一点を二つのカメラで同時に撮影したとき、それぞれの画像中に写ったその点をステレオ対応点と呼びます。 ステレオ対応点とカメラパラメータから計測対象点の3次元座標を計算します。
高精度の計測には多数の対応点の画像中位置がサブピクセル単位で必要なため、ソフトウェアで自動的に検出することが普通です。 しかし、どんな場合でもステレオ対応点を完全に検出する方法は世の中にありません。
当社では以下のように対応点を検出するいくつかの手法を用意しており、計測対象によって適切なものを選んだり、組み合わせたりします。
1. マーカ法
特定の図形をマーカとして、計測したい箇所に置いて撮影します。 計測点数が少ないときや画像中の特徴を抽出することが困難なときに使用します。 当社ではクロス型や円型のマーカを使っています。
2. ステレオ相関法
2つの画像の部分毎の輝度分布の相関計算で対応点（画像中の模様が似たところ）を探します。 模様のある、曲面の多い対象の計測に適しています。対象に模様をつけるためにパターン光を投影することもあります。
3. 線ベース法
撮影した画像に対してエッジ抽出を行い、線分構造解析などをした上で対応点を探します。 そのため工業部品のように模様がなく、輪郭のはっきりした物体の計測に適しています。 線ベース法は産総研の高機能3次元視覚システムVVVに由来しています。
4. レーザ法
より高精度に隙間や形状を計測したいときに適しています。ラインレーザ光を対象物に投射してその輝線をもとに対応点を探します。 ただし対象物によっては反射などでレーザが使用できず、適用できない場合もあります。
5. 位相シフト法
位相を変えた縞パターンをプロジェクタを使って対象物に投影し計測します。広範囲に高精度な結果が得られます。
計測精度
ステレオ画像での計測精度は画像中の1画素が実際にどのくらいの長さに対応するかで決まります。 つまり、レンズ・カメラの解像度・撮影距離・基線長（カメラ間距離）によって変わります。 また、カメラ撮像板中のステレオ対応点画素は大きさを持っているため、実際の空間中では計測対象点はある範囲内ということでしか特定できません。 その範囲が計測誤差となります。その状態を模式的に表したのが下の図です。カメラを横に並べて上から見たようになっています。 通常はカメラから見て奥行き方向の誤差が大きくなります。図からわかるように基線長を長くすると奥行き誤差を小さくすることができます。 ステレオ画像計測システムでは、条件に適するようにこれらを設定する必要があります。
