ADAS/自動運転用ステレオカメラRoboVision3

RoboVision3（外装あり）

RoboVision3（外装なし）

概要

ステレオカメラを2つ搭載したRoboVision3は、最大測定距離150m、水平視野角110°と、これまでに無い距離と視野でセンシングができるステレオカメラです。
従来では難しかった交差点右折時の遠方からの対向車の検出や、交差点右左折時の歩行者や車両などの広範囲な検出にご利用いただけます。
イメージセンサは最新のソニー製車載向け高感度CMOSイメージセンサ IMX390を採用。
HDRとLED信号のフリッカー抑制の同時処理が可能であり、ADAS・自動運転で重要な認識や判断機能の大幅な向上が期待できます。
出力は、視差画像とポイントクラウドに対応。ポイントクラウドを用いて、自己位置推定や動体検出、さらには機械学習やディープラーニングによる検出結果の認識などにもご活用いただけます。

　カタログダウンロード

　お問い合わせ

車載カメラ向け高感度CMOSイメージセンサー IMX390について

本イメージセンサーは、LED標識や信号機などの撮影時に起こるLEDのちらつき（LEDフリッカー）を抑える機能と、120dBの広いダイナミックレンジでの撮影を実現するHDR機能を搭載しています。LEDフリッカー抑制機能とHDR機能の同時利用を可能にしたイメージセンサーの商品化は業界初で、これはソニー独自の画素構造と露光方法により実現しました。
また、高感度特性により、月明かりに相当する低照度0.1ルクスの環境下でも高画質なカラー映像が撮影可能です。

※引用　LEDフリッカー抑制とHDR撮影を同時実現車載カメラ向けCMOSイメージセンサー業界初の商品化　https://www.sony.co.jp/SonyInfo/News/Press/201704/17-034/index.html　(2018年4月10日)

特徴

１．2つのレンズで広範囲の画像計測が可能

図　RoboVision3の計測範囲　イメージ

RoboVision3は近くの広い範囲と、前方の遠方の物体を検出するために、望遠レンズと広角のレンズを使った２つのステレオカメラを一体化し、最大測定距離は150m、水平視野角110°と、これまでにない検出範囲のステレオカメラです。RoboVision2sよりも広範囲にわたりセンシングが可能です。（上図実線がRoboVision3のセンシングエリアイメージ）

また、計測シーンのイメージと距離計測画像を下記に示します。自動運転などで想定されるシーンを2つのステレオカメラを使い分けて対応可能です。

・右折時に想定される、遠方の車両の距離計測に

・左折時に想定される、より広範囲な計測に

２．120dBの幅広いダイナミックレンジでの撮影を実現

図　同じ画像から変化された画像例

明暗差の大きな環境に対処するため、HDR(120dB)かつ超多階調(24bit)出力を実現。1枚の画像から明るい画像と暗い画像の生成ができ、明るさの変化が大きい環境でも物体の認識が可能に。これによりトンネル内にいながらトンネルの外の対象物の認識よりが行えます。

下記に、計測した画像データの明るさを変えたイメージと、走行中にLED信号機を撮影した動画を掲載しています。
明暗差の大きいシーンにおいては明るさを変えた画像情報で画像処理を行うことで、トンネル内の暗い箇所と出口の明るい領域の認識を両立して行うことが可能です。また、LEDを使った信号や標識は従来フリッカー（点滅）する現象が発生していましたが、フリッカーを抑えた計測が可能です。

３．充実したソフトウェア開発環境、SDKも付属

図　取得画像（上）と視差画像（左下）、距離変換（右下）した結果

画像計測用のアプリケーションとしてビューワーや画像変換、距離計測ソフトやソフトウェア開発環境(SDK)を付属し、視差画像とポイントクラウドの出力に対応しています。

ステレオカメラについての説明は自動運転・ADASを知るの「ステレオカメラについて」にまとめていますので、下記をページを参照ください。

　ステレオカメラについて

製品イメージ

RoboVision3 カメラ部(左:望遠用レンズ　右:広角用レンズ)

車載イメージ

RoboVision3 計測動画（明るさを変更時イメージ）

RoboVision3 LEDフリッカー抑制機能

使用用途

・従来難しかった交差点右折時の遠方からの対向車の検出
・交差点右左折時の歩行者や車両などの広範囲な検出
・ポイントクラウドを用いた自己位置推定や動体検出
・LED信号機の検出

RoboVision3 製品仕様

カテゴリ	項目	仕様
カメラユニット	イメージセンサ	ソニー製カメラ向け1/2.7型有効245万画素
	解像度	1920 × 1080 ピクセル（30fps）
	水平画角	広角部：110° / 望遠部：40°
	基線長	広角部：150mm / 望遠部：230mm
	サイズ（外装なし）	W235mm × D90mm × H48mm
	重量	本体：約730g / ケーブル（5m）：300g
フレームグラバユニット	機能	同期撮像、歪補正、ステレオ平行化、HDRなど
フレームグラバユニット	インターフェース	XMC（PCI-Express Gen × 8 4Lane） ※スロットとしては ×8 を使用する電気信号としては4レーンのみ使用 ※冷却ファン付き変換アダプター付属
ソフトウェア開発環境（SDK）	ライブラリ	カメラ I/P、視差画像生成、ポイントクラウド生成
	アプリケーション	RAW出力、視差画像出力、ポイントクラウド（PCL対応）出力
	動作環境	Linux Ubuntu 16.04（Intel Core i7 / Xeon AVX2装備
その他付属品		フロントガラス映り込み防止プレート、接続ケーブル、車載用取付パーツ　※外装パーツはオプション品

　カタログダウンロード

　お問い合わせ

RoboVision3 オプション

【車両検出パッケージ】

概要・特徴

RoboVision3の高感度COMSイメージセンサーIMX390で取得した画像データでディープラニングを活用し、画角内の車両を検出し対象物までの相対位置を計測するソフトウェアパッケージです。自車両から検出した車両相対位置を「検出ID、X:距離、Y、Z、物体サイズ情報」でリアルタイムに出力します。

ADAS/自動運転の研究開発においてステレオカメラを用いた機能開発を簡易的に行うことができます。また、現在搭載しているADAS機能のリファレンスデータを簡易的に取得されたい方などにお勧めです。

専用PCも付属されておりセットアップ済み、またカメラキャリブレーションなども実施済みの状態で提供致しますので、車載後すぐに使用することが可能です。

パッケージ構成

※本パッケージにEthernetケーブルは付属されていません。

サンプルアプリケーション

車両検出ビューワ

車両検出仕様

カテゴリ	項目	仕様
車両検出パッケージソフトウェア ※オプション	検出距離	3m ~ 80m
	検出精度	~ 80%
	検出角度	90°（計測距離30ｍ）、30°（計測距離80ｍ）
	位置精度	距離15％、横位置5％
	検出可能数	10台
	フレームレート	10Hz
	レーテンシー	200msec
	出力	UDP
車両検出パッケージ専用PC ※オプション	CPU	高性能Intel® プロセッサー搭載
	GPU	NVIDIA®製　最新GPU搭載
	サイズ	W193mm x D388mm x H198mm
	重量	5.2kg

※本仕様は開発中のものであり、予告なく変更される場合があります。

価格

■RoboVision3　　150万円（税別）
（カメラユニット、車載取付パーツ、フロントガラス映り込み防止プレート、
　フレームグラバユニット、接続ケーブル、ソフトウェア開発環境（SDK）CD-ROM、XMC変換ボード)
※外装はオプション品となります。ご希望の場合は別途ご相談ください。

■RoboVision3 PC　 60万円（税別）
※XMC（PCI Express x4）に対応した、組み込み用コンピュータです。

■RoboVision3 車両検出パッケージ　 290万円（税別）
（カメラユニット、車載取付パーツ、フロントガラス映り込み防止プレート、フレームグラバユニット、接続ケーブル、ソフトウェア開発環境（SDK）CD-ROM、XMC変換ボード、車両検出パッケージソフトウェア（PCへインストール済）、専用PC)