Autonomous Driving and ADAS

Types and roles of sensors in ADAS (advanced driving support system)

For ADAS (Advanced Driver Assistance System), the system must recognize the surrounding environment such as the moving objects around the vehicle and the road shape. A sensor for recognizing the external environment is called an "external sensor". The development of sensing technology leads to the development of AD ( Autonomous Driving ) as well as ADAS.
In addition, in order to accurately recognize the environment around the vehicle, we are developing not only one sensor but also a so-called sensor fusion technology that combines various types of external sensors.

1. Types of sensors used in ADAS

The sensors used for ADAS are roughly classified as follows for each information that can be measured.

· Image data: Camera
. Distance data: riders and millimeter wave radar
· Position data: GPS and odometer
· Speed, acceleration, attitude data: IMU (Inertial Measurement Unit)
​ ​and so on.

In this page, we will explain the cameras and radars that detect the circumstances of those sensors. And also about sensor fusion technology combining multiple sensors.

2. Role played by radar in ADAS

For the function of ADAS (advanced driving support system) using radar,

· Inter-vehicle distance control (ACC: Adaptive Cruise Control)
· Front Collision Warning (FCW)
· Collision damage mitigation brake control device (AEBS: Autonomous Emergency Braking System)
. Blind Spot Monitoring (BSM: Blind Spot Monitoring)
. Parking assist (PA)

Details about each function are explained in introduction of ADAS function.
Radars installed in automobiles include short range radar, long range radar, laser radar, ultrasonic radar, etc. Each has its own characteristics.

3. Types of radars for ADAS

3-1.レーザレーダ(LiDAR,ライダー)

レーザーレーダとは光を用いたリモートセンシング技術の1つで、パルス状に発光するレーザ照射に対する錯乱光を測定し、遠距離にある対象までの距離や、その対象の性質を分析するものです。
日本語では「ライダー(LiDAR)」と呼びます。なお、LiDARは英語:Light Detection and Ranging、Laser Imaging Detection and Ranging)の頭文字から由来しています。
一般的な方式として、LiDARはパルスレーザービームが内部の回転ミラーで方向を変えて、周辺エリアを扇状にスキャンします。発射されたレーザー光は物体に当たると反射され反射光はスキャナの受光部で認識されます。

研究開発用途として、Velodyne社やRoboSense社などの回転式のVLP-16や、RS-LiDAR-32のようなセンサと、車載に対応すべく回転物を搭載せずにセンシングが可能なSolid State型(MEMS方式)のLiDARが開発されています。

LiDARが主な用途は、前方障害物までの距離の測定、縁石などによる道路形状の認識、反射率を利用した白線認識などがあります。
各方式やその他研究・開発されている方式の特長については下記にまとめられています。
(平成28 年度スマートモビリティシステム研究開発・実証事業:自動バレーパーキングの実証及び高度な自動走行システムの実現に必要な研究開発成果報告書平成29 年3 月(委託先)一般財団法人日本自動車研究所 http://www.meti.go.jp/meti_lib/report/H28FY/000539.pdf より)

3-2. Millimeter wave radar

車両周辺の静止物体および移動物体までの相対距離を計測するためのセンサとして、レーザーレーダの他にミリ波レーダがあります。ミリ波を用いたセンサはレーザーを用いたセンサに比べ検知距離が長く、雨天性能/霧・雪での性能(全天候性)、相対速度の直接計測が可能であり、先行車両などの運動予測性能に優れているという特徴があります。また、要求される角度分解能(アンテナビーム幅)に対してアンテナ径が小さく、車両への搭載性に優れています。ミリ波レーダーは主に遠距離レーダ(150m以上の検知性能)として、ACCなどの機能を実現するためのセンサーとして各社で商品開発が進められています。

Basically, legal technical requirements for in-vehicle millimeter wave radar are as follows.
(1) Radio frequency band: 76 GHz band
(2) Antenna power: 10 mW or less
(3) Aerial combat gain: 40 dB or less
(4) Specified frequency bandwidth: Within 1 GHz
ZMPでは、研究・開発用向けに車載用ミリ波の取り扱いもございますので、
小ロットで研究開発に活用したいお客様はお問い合わせいただければと思います。

4. In-vehicle camera in ADAS

In-vehicle cameras have been spreading as drive recorders, back monitors, and other view cameras that save records during driving and assist the driver's blind spot. In recent years, Image Recognition technology has developed, and it has become a role as a sensing camera to detect road signs and pedestrians, etc. from acquired images, issue a warning to the driver, and control the operation of cars. With this, cameras play an important role in ADAS.

The in-vehicle camera used in ADAS has the following uses.

· Function as surrounding visibility assistance system: Around view · monitor, the driver can check the blind spot of the car with images,
. Lateral side obstacle alarm at lane change etc.
· Parking assistance by rear image
· Detect lane markers on road with monocular camera
· Stereo camera detects forward obstacles and predecessors
· Recognition of road signs such as speed indication
· Pedestrian detection · Collision warning
· Driver like drive recorder · Automobile monitoring
· Driver monitoring technology

For details of the camera, please check "On-vehicle camera in ADAS (Advanced Driving Support System)".

ZMPでは、車載向けのカメラとして下記の製品を取り扱っております。
RoboVision2s
測距や物体検出ソフトに対応した超高感度ステレオカメラシステム
RoboVision3
最大150m、水平100°の距離と視野のセンシングが可能なステレオカメラ
Surround RoboVision
360°全周囲の画像を24bitの色深度で最大30fpsで取得

5. Types of in-vehicle cameras for ADAS

In-vehicle cameras are classified by image sensor (image sensor) and classified by camera type.

5-1. Classification by image sensor

Image sensors are classified into CCD (Charge-Coupled Device) format and CMOS (Complementary Metal-Oxide Semiconductor) format.
CCD is a type of image sensor widely used for video cameras, digital cameras, etc. When converting a photographed image into an electric signal, data is transferred by using a circuit element called a charge coupled device in order to read the charge generated from light by the light receiving element. CCD has relatively higher sensitivity compared to other image pickup devices, and has less noise. In the past, car-mounted cameras for automobiles often used lower cost CMOS than CCDs, but cases using CCD formats with high Image Recognition precision also increased. Depending on cost and performance, the appropriate format is chosen.

5-2. Classification by installation method

5-2-1. Monocular Camera (Mono Camera)
A monocular camera is the one that literally functions with one camera lens.
Distance measurement is calculated from the pixel position in the vertical direction of the recognized image coordinates, but the error tends to be large. The main advantage is that it can be installed at low cost and the degree of freedom of the installation place is high. It also makes calibration easy. The downside is that the objects to be recognized are limited. For concrete purposes, it is used for warning function, crosswalk recognition, etc. for drivers by recognizing traffic signs such as white line recognition and limit speed for lane keeping purpose.
5-2-2. Stereo camera
A stereo camera is an object that measures objects with two cameras like a human eye, and its parallax makes it possible to measure distances with high institution. Three-dimensional objects can be detected, so you can measure distance and lateral position to various objects such as pedestrians, bicycles, vehicles with high accuracy. Although the information detected in this way can be used variously, it is a disadvantage that calibration is difficult and the amount of calculation increases. It is used as a specific application when recognizing vehicles and pedestrians.

6. Sensor Fusion

センサフュージョンとは、上記でご紹介したカメラ、レーダ、ライダー(LIDAR)など複数のセンサからの情報を組み合わせて、周辺環境をより明確に把握できるようにする技術です。
これは、より信頼性の高い安全機能とより効果的な自律運転システムの実現に必要とされる技術です。

センサフュージョンはあらゆるタイプのセンサと関わる可能性があります。典型的な例が、フロントカメラとフロントレーダから提供される情報の統合です。

光学的検出で機能するカメラは、雨、濃霧、強い日差し、光のない状態といった状況においては問題を生じますが、路面標識など、色の認識においては高い信頼性を発揮します。

レーダは、たとえ低分解能であっても、距離の検知には有用で、環境条件に影響されることはありません。このようにセンサー同士の長所を補うことで、システムが周囲の状況をより精度高く把握することが可能となります。

6-1-1 ACC (Adaptive Cruise Control)

ACC will speed up to the set speed if the field of sight while driving is good and the distance between the car and the preceding car is sufficient. Likewise, if the distance to the previous car is too close, it will decelerate. The cruise control system of the vehicle reads the surrounding situation with sensors and cameras and maintains the proper vehicle speed.

6-1-2. AEBS (Advanced Emergency Braking System: Collision Damage Reduction Braking Control Device)

AEBSは自動車が障害物を検知して衝撃に備える機能の総称を意味しています。自動車に搭載したセンサとカメラを用いて前方車両との衝突を検知した瞬間にブレーキを制御するシステムです。

各社のADAS機能を評価した結果は、独立行政法人 自動車事故対策機構の予防安全性能アセスメントのページにて結果が掲載されております。

独立行政法人 自動車事故対策機構の予防安全性能アセスメント

http://www.nasva.go.jp/mamoru/active_safety_search/

7. ZMP sensor field products

Various sensors available for ADAS development are available for ZMP. We also introduce handling sensors.

7-1. Acceleration sensor

Body Motion
IMU-Z2を使った全身の運動計測ができるモーションキャプチャシステム
IMU-Z2
無線・有線で計測可能な9軸モーションセンサ
IMU-Z Cube
最大400Gの加速度計測可能な小型6軸モーションセンサ

7-2. GPS sensor

Position-Z
CAN出力可能なGPS・気圧一体型ポジションセンサ
Position & Motion
車両の位置・挙動・環境を同時計測可能なセンサパッケージ
RTK Position-Z
RTKを用いたセンチオーダーで位置計測が可能なポジションセンサ

7-3. Biosensor

ウェアラブル心拍センサ
13グラムの連続7日間のデータ計測可能な心拍センサ
ECG 2
約15gと小型軽量でワイヤレス計測が可能な心電計
BR 8
8チャンネルタイプのワイヤレス脳波センサ BR8
BR32S
32チャンネルタイプのワイヤレス脳波センサ BR32S

7-4. LiDAR

Konica Minolta 3D-LiDAR
最大24レイヤー、水平画角最大120°の広範囲のスキャンが可能なLiDAR
RoboSense 3D-LiDAR
16レイヤー、32レイヤーの2タイプ、水平画角360°の全周囲スキャンが可能なLiDAR

8. ADAS Camera Link

上記でも、ご紹介いたしましたが、ZMPではADAS開発に利用できるステレオカメラユニットをご用意しております。
RoboVision2s
測距や物体検出ソフトに対応した超高感度ステレオカメラシステム
RoboVision3
最大150m、水平100°の距離と視野のセンシングが可能なステレオカメラ
Surround RoboVision
360°全周囲の画像を24bitの色深度で最大30fpsで取得

9. Inquiries, document request

For inquiries on products and information request, please contact us below.
To TOP