ステレオカメラについて

ADAS(先進運転支援システム)においてステレオカメラは前方の車間距離や取得した画像を使い、自動ブレーキや白線認識などの運転支援に活用されるデバイスです。

近年は量産車両へも搭載され、自動車を直接制御する為のセンサー機能を果たすようになりました。本ページではステレオカメラについて、その機器の役割、構造、原理などについて解説します。また、ZMPが提供する研究・開発に活用可能なステレオカメラユニット関連製品についてもご紹介します。

1. ステレオカメラとは

ステレオカメラ(すてれおかめら、stereo camera)とは、人が物を見る原理と同じように、2つのカメラを用いて対象物を複数の異なる方向から同時に撮影することにより、カメラの画素の位置情報から、奥行き方向の情報も計測することが可能なカメラのことです。
図.1 ステレオカメラ RoboVision2s

2.ステレオカメラの用途

ステレオカメラは、自動車(車)の分野では、車に搭載し、車載カメラとして先進運転支援システムのセンサーとして活用されていますが、その他の産業においては、建機の周辺の人や障害物を認識するセンサーとしてや、道路の路面検査などセンサーとして活用されております。ほかにも、産業用ロボットの周辺環境認識、重なった人間でもカウント可能なためイベントや店舗内の来場者の動線分析、セキュリティや警備の目的でステレオカメラのシステムが活用されるケースがあります。またZMPの自動運転開発車両RoboCarにおいてもステレオ画像による障害物認識、前車追従機能を搭載し、センサーフュージョンの技術開発を行っています。

3.ステレオカメラの原理

ステレオカメラでの計測を実現するためには,いずれも検知した対象物までの距離を算出する必要があります。
ここでは,ステレオカメラにおける距離計測の手法について説明します。

ステレオカメラで対象物までの距離を求めるには,図に示すように三角測量の原理を利用して算出しており。
同じ対象物を 2 つのカメラで撮像した際の撮像位置の差分(視差)を求める必要があります。
ここで視差を求めるには,2 つのカメラで同じ対象物を撮像した画素を抽出する必要があり,これをステレオマッチングと呼んでいます。

3-1.ステレオマッチングとは

ステレオマッチングとは、2枚の画像の各部についてマッチングを行うことで視差を推定する方法です.
視差とは,2枚の画像間で対応する部位の位置の差を表します.ステレオマッチングを行い画像上の各部位の視差が推定できれば,三角測量の原理に基づいて距離を算出できます。

3-2.三角測量とは

三角測量とは、三角形の原理を使って離れた地点との距離を計測する手法が三角測量と呼ばれています。

具体的には、ある基線の両端にある既知の点から測定したい点への角度をそれぞれ測定することによって、その点の位置を決定する三角法および幾何学を用いた測量方法のことで、ある2点間の正確な距離が分かっている場合、その2点から離れた場所のある地点との距離は、その2点との角度が分かれば「三角形の一辺とその両端角が分かれば三角形が確定する」という性質によって距離が求められています。
図.2 三角測量計算イメージ
ステレオカメラにおいては、下記の式から基線長の長さ、焦点距離、撮像位置の差分がわかっていることから、対象物までの距離を算出することが可能となります。

4. ステレオカメラの距離計測

ステレオカメラの距離計測の手法の一つに左右の画像間で、ずれ量を計測するための方法の一つにブロックマッチングと呼ばれる方法についてここでは紹介していきます。
これは、一方の画像(左画像) のある点に注目し、その周囲数ピクセルの矩形をブロックとし、もう一方の画像からそのブロックともっとも相関のある位置を探しだす方法です。
ここで左右の画像が、ゆがみなく、上下方向のずれや、光軸のずれなどがなく、真に左右のみの平行移動分のずれであるとすると、同一の対象物は画像中でも同じY 座標に表れるはずなので、ブロックの相関を検索する対象は、同じY においてX 方向にのみずらしていけばよくなり、この検査で最も相関の高かった位置(ずれ)を視差値とする計算方法となります。
図3. ブロックマッチングのイメージについて
また、ステレオカメラの距離計測は、いくつかの計算アルゴリズムに分けて処理が行われているためその計算アルゴリズムについて簡単に下記で紹介します。

4-2.計算アルゴリズムについて

1.前処理 :歪み補正(キャリブレーション)や画像の輝度値の正規化など
2.平行化 :マッチングの効率化のための画像変換
3.マッチング :マッチングを行って視差を推定
4.再投影:カメラの幾何的な配置から、視差マップを距離に変換

上記のようなステップにより視差を計測し距離を算出します。

4-3. 計算プロセッシングユニットについて

画像処理においては、PC(パソコン)ベースでの処理においては、画像処理コンピュータで有名なNVIDIAのGPU(グラフィック・プロセッシング・ユニット)やIntel Core i7やi5などのCPU(Central Processing Unit)などが活用されます。GPUは画像処理用に特化し開発されているためCPUよりも処理が効率的に行うことが可能です。また、用途を限定する場合にはFPGA (Field Programmable Gate Array) を用いて画像処理を行うケースもあり。FPGAとは,回路構成をプログラミングで設計することができる LSI のことであり、プログラミングで回路を構成するため,チップ内部の回路構成を変更することが可能で、特定の用途に合わせてプログラムの作りこみを行うことができ、コスト・開発期間など面で活用されるケースがあります。

5.ステレオカメラの距離精度

ステレオカメラによる距離計測の精度はいくつかの要因により影響を受けます、

5-1.カメラの搭載位置

精度のよい画像を計測するためには2つのカメラの基線長(カメラ間の距離)と取付け(搭載)位置の関係が重要となります。カメラの位置は冶具などを使った機械的に拘束し、取付位置を担保する方法や取り付け後のキャリブレーション(校正)作業によりソフト的に抑えることも可能です。

5-2.レンズの歪み

カメラのレンズはきれいな曲面を描いているように見えますが、それぞれのバラツキを持った状態で製造されます。これにより画像(イメージ)の歪みが発生し、マッチングが成立せずに視差が算出できないことが発生します。ソフト的な補正により画像(イメージ)の歪みを抑えることでステレオマッチング処理でカメラから物体までの距離を正確に測定できるような対応を行うことが一般的です。

5-3.レンズの解像力

レンズの解像力は単位面積にどれだけの情報を描写できるかを意味する言葉です。例えばボーダーのような白地に横線が平行に何本も引いてある被写体の場合、線と線が明らかに離れていると判別できる程度に描写できていれば解像していると言えますが線と線がボヤけた描写でもはや線が引いてあると判別できないのであれば、線と線の密度がレンズの解像力を超えているという状況になり、レンズがぼやけることにより左右の画像のマッチングの精度が低下し、距離計測の精度が低下する可能性があります。

5-4.センサーの解像力

撮像素子の解像能力もレンズと同様の概念となり、撮像画像センサーの単位面積に計測された像をどれだけ細かい単位でデータ化する事が出来るかが重要となります。素子は画素の集合体なので、単位面積の画素密度がセンサーの解像性能の指標となり、画像処理の負荷や求める精度によりますが、より素子の密度が高く、画素数の大きいものが望ましいです。

6.ステレオカメラの画像処理

車載向けステレオカメラRoboVision2sのソフトウェアの特長として、明るさの異なる画像を組み合わせることにより明暗さの状況でも像をはっきりと撮影が可能なWDR(Wide Dynamic Range)機能や、そのほかのステレオカメラの画像処理として、ZMPとして取り組んているアルゴリズムは、物体検出とVirtual Tilt Stereoというアルゴリズムが存在します。

6-1. WDR(Wide Dynamic Range)機能

WDR(ワイドダイナミックレンジ)とは、暗い画像と明るい画像を処理して暗部を明るく、明部を暗くすることで、適度な明るさの画像を作り出す機能のことです。
例えば、トンネルの出口などの明るい屋外を暗いトンネル内から撮影する場合など、明部と暗部が混在する画面では暗い部分にピントが合ってしまい、明るい部分が白抜けして映像が確認できないといった問題があります。
ワイドダイナミックレンジを搭載したカメラで撮影した場合、明部と暗部を分けて記録した後合成することによって、明るい部分・暗い部分のどちらも鮮明な映像を録画できます

6-2.物体検出アルゴリズム

物体検出のアルゴリズムは、カメラの取り付け姿勢を指定することにより、計測画像における地表面(路面高さ)を算出し、路面高さに対して高さがあり点群(マッチングした点)が集まった領域に対して、物体があると判断し、その物体の幅、高さ、カメラからの位置を出力するアルゴリズムです。
物体検出ソフトウェア 画面

6-3.Virtual Tilt Stereoアルゴリズム

Virtual Tilt Stereoは、自動運転やADASの開発においてステレオカメラで道路上の車や障害物の検出を行うために開発されたアルゴリズムです。
そのためには、道路表面の検出が必要となり、従来のステレオカメラの検出手法を改善しています。正確な路面検出が出来ない理由として、通常車載で使うカメラは前方を向いており光軸と路面が平行に近くなるため高い精度の視差が得られないという課題があります。
Virtual Tilt Srereoアルゴリズムでは、パノラマ画像の合成技術を用いて、カメラの主点(節点)まわりに回転させて撮影&合成することで画像を回転し、光軸を下向きに変化させることで、上面から路面を計測することにより路面の計測精度を高める手法です。
これにより、路面上の凹凸検出精度が向上し、路面に対して高さがある物体を検出可能になりました。

7.ZMPのステレオカメラ関連製品

ZMPでは、車載カメラとして開発に活用可能なステレオカメラRoboVision2sや上記のアルゴリズムを活用したオプション製品を販売しております。また、最新ステレオカメラとして2つのステレオカメラを搭載した(クワッドカメラ)RoboVision3をご紹介いたします。

7.1 RoboVision2s

ステレオカメラユニット
RoboVision2s
研究開発に容易に導入可能なステレオカメラユニット、SDKやAPIにより視差や距離計測が容易に行えます。
RoboVision2s
SSDパッケージ
2TBのSSDで約4時間の連続画像計測が可能なパッケージ

7.2 RoboVision2s 物体検出パッケージ

RoboVision2s 物体検出パッケージ
検出した物体の大きさや位置座標をリアルタイムに表示可能なソフトウェア

7.3 RoboVision2s CarTrackパッケージ

RoboVision2s CarTrackパッケージ
周辺の物体の追跡・相対速度を検出&CAN出力が可能なソフトウェア

7.4 自動運転用ステレオカメラユニット RoboVision3

最新ステレオカメラシステム
RoboVision3
最大150m、水平100°の距離と視野のセンシング可能なステレオカメラ

お問い合わせ

TOPへ