Products & Services

Stereo camera RoboVision®3 for ADAS / Autonomous Driving​ ​

RoboVision®3 (with case)
RoboVision®3 (without case)

Overview

RoboVision®3 is a stereo camera capable of sensing a maximum measuring distance of 150 m and a horizontal viewing angle of 110 °.
It can be used for the detection of oncoming vehicles from a distance when turning right at the intersection which was difficult in the past and for wide detection of pedestrians and vehicles at the intersection right turn.
The image sensor adopts the newest Sony made high-sensitivity CMOS image sensor IMX390 for automotive use.
Simultaneous processing of HDR and flicker suppression of LED signal is possible, and we can expect significant improvement of recognition and judgment function important for ADAS/Autonomous Driving.
The output corresponds to the parallax image and the point cloud. You can also use it for self-location estimation and motion detection, point recognition, detection of machine learning and deep learning detection results, etc. using point cloud.

About high-sensitivity CMOS image sensor IMX390 for in-vehicle camera

This image sensor has a function of suppressing LED flicker which occurs at the time of photographing LED indicator, traffic light, etc., and HDR function realizing shooting with a wide dynamic range of 120 dB. Commercialization of an image sensor that enabled simultaneous use of LED flicker suppression function and HDR function was the first in the industry, realized by Sony's unique pixel structure and exposure method.
Moreover, due to the high sensitivity characteristics, it is possible to shoot high quality color images even under the environment of low illuminance of 0.1 lux corresponding to the moonlight.

* Quote Simultaneously suppress LED flicker and HDR shooting Simultaneously commercialized CMOS image sensor for automotive camera​ ​https://www.sony.co.jp/SonyInfo/News/Press/201704/17-034/index.html(April 10, 2018)

Functions

A wide range of image measurement is possible with 1.2 lenses

RoboVision®3 measurement range
RoboVision®3 integrates a wide range of nearby objects and two stereo cameras using a telephoto lens and a wide angle lens in order to detect a far object ahead, the maximum measurement distance is 150 m, the horizontal viewing angle is 110 °. It is a stereo camera where sensing is possible over a wider range than RoboVision®2s. (The solid line in the upper figure is the sensing area image of RoboVision®3)

The image of the measurement scene and the distance measurement image are shown below. Scenes assumed for Autonomous driving etc. can be handled by using two stereo cameras properly.

· For distance measurement of distant vehicles assumed when turning right

· For more extensive measurements assumed at the time of left turn

2.120 dB shooting in wide dynamic range

Difference between same images
HDR (120 dB) and super multiple tone (24 bit) output are realized to cope with environments with large contrast difference. It is possible to generate bright images and dark images from one image and to recognize objects even in environments where brightness changes greatly. By doing this, it is possible to recognize the object outside the tunnel while staying in the tunnel.

Below are the images with the brightness of the measured image data changed and the videos shot of the LED traffic light while running.
In scenes with a large contrast difference, image processing is performed with image information whose brightness has been changed, so it is possible to comprehensively recognize dark areas in the tunnel and bright areas of the exit. In addition, signals and indicators using LEDs have traditionally caused flickering (flashing) phenomena, but flicker suppressed measurements are possible.

3. A rich software development environment, SDK is also included

The figure obtained image (upper), the parallax image (lower left), the result of distance conversion (lower right)
Viewer, image conversion, distance measurement software and software development environment (SDK) are included as applications for image measurement, and correspond to parallax images and point cloud output.

For more details of stereo camera, please refer to Autonomous Driving and ADAS "About stereo camera".

Product Image

RoboVision®3 camera section (left: telephoto lens right: wide angle lens)
車載イメージ
RoboVision®3 Measurement video (Images in change in brightness)
RoboVision®3 LED flicker suppression function

Applications

· Detection of an oncoming vehicle from a distance when turning right at an intersection where it was difficult before
· Extensive detection of pedestrians and vehicles at the intersection right / left turn
· Self position estimation and moving body detection using point cloud
· LED signal detection

RoboVision3 製品仕様

カテゴリ 項目 Specifications
カメラユニット Image sensor ソニー製カメラ向け1/2.7型有効245万画素
Resolution 1920 × 1080 ピクセル(30fps)
Horizontal view angle 広角部:110° / 望遠部:40°
Baseline length 広角部:150mm / 望遠部:230mm
サイズ(外装なし) W235mm × D90mm × H48mm
重量 本体:約730g / ケーブル(5m):300g
Frame grabber unit Function 同期撮像、歪補正、ステレオ平行化、HDRなど
インターフェース

XMC(PCI-Express Gen × 8  4Lane)

※スロットとしては ×8 を使用する電気信号としては4レーンのみ使用

※冷却ファン付き変換アダプター付属

Software development environment (SDK) Library

カメラ I/P、視差画像生成、ポイントクラウド生成

Application RAW output, parallax image output, point cloud (PCL compatible) output
Operating System Linux Ubuntu 16.04(Intel Core i7 / Xeon AVX2装備
その他付属品  

フロントガラス映り込み防止プレート、接続ケーブル、

車載用取付パーツ ※外装パーツはオプション品

RoboVision3 オプション

【車両検出パッケージ】

概要・特徴

RoboVision3の高感度COMSイメージセンサーIMX390で取得した画像データでディープラニングを活用し、画角内の車両を検出し対象物までの相対位置を計測するソフトウェアパッケージです。自車両から検出した車両相対位置を「検出ID、X:距離、Y、Z、物体サイズ情報」でリアルタイムに出力します。

ADAS/自動運転の研究開発においてステレオカメラを用いた機能開発を簡易的に行うことができます。また、現在搭載しているADAS機能のリファレンスデータを簡易的に取得されたい方などにお勧めです。

専用PCも付属されておりセットアップ済み、またカメラキャリブレーションなども実施済みの状態で提供致しますので、車載後すぐに使用することが可能です。


パッケージ構成
※本パッケージにEthernetケーブルは付属されていません。
サンプルアプリケーション
車両検出ビューワ

車両検出仕様

カテゴリ 項目

Specifications

車両検出パッケージ

ソフトウェア

※オプション

 

検出距離 3m ~ 80m
検出精度 ~ 80%
検出角度

90°(計測距離30m)、30°(計測距離80m)

位置精度 距離15%、横位置5%
検出可能数 10台
フレームレート 10Hz
レーテンシー 200msec
出力 UDP

車両検出パッケージ

専用PC

※オプション

CPU 高性能Intel® プロセッサー搭載
GPU NVIDIA®製 最新GPU搭載
サイズ W193mm x D388mm x H198mm
重量 5.2kg

※本仕様は開発中のものであり、予告なく変更される場合があります。

Price

RoboVision3   150万円(税別)
(カメラユニット、車載取付パーツ、フロントガラス映り込み防止プレート、
Frame grabber unit, connection cable, software development environment (SDK) CD-ROM, XMC conversion board)
※ The exterior is an optional. Please contact us if required.


■RoboVision3 PC  60万円(税別)
※ It is built-in computer corresponding to XMC (PCI Express x4).

■RoboVision3 車両検出パッケージ  290万円(税別)
(カメラユニット、車載取付パーツ、フロントガラス映り込み防止プレート、フレームグラバユニット、接続ケーブル、ソフトウェア開発環境(SDK)CD-ROM、XMC変換ボード、車両検出パッケージソフトウェア(PCへインストール済)、専用PC)


For inquiries

関連製品

Stereo camera system
RoboVision® 2s
ロボットの目として開発され、距離と視野のセンシングが可能なステレオカメラ
RoboVision® 2s
Object detection library
小型電動バスをベースに、ユーザーが外部装置より制御ができる自動運転車両
RoboSense
3D-LiDARシリーズ
レーザー光を用いて距離のセンシングと三次元のイメージングする

RoboCar SUV
市販SUV車両をベースに、ユーザーが外部装置より制御ができる自動運転用車両
To TOP