Autonomous Driving（自動運転）の制御に使われるセンサについて
Autonomous Driving（自動運転）を行うためには、周辺の人や物体などのセンシングが重要となります。ここでは、ZMPの自動運転技術を例に自動運転で必要なセンサの種類や機能について説明します。
下記にて、自動運転に利用されているセンサについて説明していきます。
下記にて、自動運転に利用されているセンサについて説明していきます。
目次
自動運転におけるセンサの重要性
ここでは、自動運転におけるセンサの重要性について説明していきます。
自動運転に使われるセンサはカメラや3D-LiDARやミリ波センサ、加速度センサやGPSセンサなど様々な種類が存在します。
そのセンサの役割は、人間で例えると、目の代わりであったり、
人が目をつぶって歩いたときに周りの形状や壁までの距離を探るための手のような役割をするものがあります。
また、今どの辺をどの方向で進んでいるのかといった人でいう土地勘を担うようなセンサや
今、車の動きがどうなっているのか、人で言う三半規管的な役割を果たしてくれるセンサもあります。
自動運転では様々なセンサの情報を統合して自動運転を行っています。
土地勘はなくても自動運転はできるかもしれませんが、
周りの情報を知るためのセンサがないと自動運転を行うことができないため、自動運転とセンサは切っても切れない関係にあります。
特に重要なのは、自動運転の認知の部分を担う“目と手足”となる機能です。
この目の機能を果たすものとして、カメラが挙げられます。
また、周りの形状を把握するための人の手足のようなセンサとして、3D-LiDARがあります。
一定方向の距離を測るセンサとしては、
ミリ波レーダや超音波センサといったセンサも自動運転や高度運転支援システム（ADAS）には活用されています。
その他にも、
位置情報（人で言う”土地勘？”）を取得するためのGPSセンサや
車両の挙動をセンシングするための加速度・ジャイロセンサといったデバイスを搭載しています。
自動運転に使われるセンサはカメラや3D-LiDARやミリ波センサ、加速度センサやGPSセンサなど様々な種類が存在します。
そのセンサの役割は、人間で例えると、目の代わりであったり、
人が目をつぶって歩いたときに周りの形状や壁までの距離を探るための手のような役割をするものがあります。
また、今どの辺をどの方向で進んでいるのかといった人でいう土地勘を担うようなセンサや
今、車の動きがどうなっているのか、人で言う三半規管的な役割を果たしてくれるセンサもあります。
自動運転では様々なセンサの情報を統合して自動運転を行っています。
土地勘はなくても自動運転はできるかもしれませんが、
周りの情報を知るためのセンサがないと自動運転を行うことができないため、自動運転とセンサは切っても切れない関係にあります。
特に重要なのは、自動運転の認知の部分を担う“目と手足”となる機能です。
この目の機能を果たすものとして、カメラが挙げられます。
また、周りの形状を把握するための人の手足のようなセンサとして、3D-LiDARがあります。
一定方向の距離を測るセンサとしては、
ミリ波レーダや超音波センサといったセンサも自動運転や高度運転支援システム（ADAS）には活用されています。
その他にも、
位置情報（人で言う”土地勘？”）を取得するためのGPSセンサや
車両の挙動をセンシングするための加速度・ジャイロセンサといったデバイスを搭載しています。
・カメラ
自動運転におけるカメラの役割は多岐にわたります。
取得したカメラの画像を使った認識や距離計測
画像の認識においては、ディープラーニングの技術を活用した物体認識やトラッキング、また、白線の検出、信号の認識、標識の認識、走行可能エリアの識別などドライバーが目で見た情報を運転に必要な認識まで担います。
また、カメラについては2つのカメラ（ステレオカメラ）を使った距離の計測なども行うことが可能で、これにより走行中の車両の前方の物の大きさや相対距離や速度なども計算することが出来ます。
カメラは純粋に人の“目”に当たる機能を担うセンサとなっています。
将来的には、人が目を使って運転しているように自動運転車もカメラの視覚情報だけで走行できることが理想的ではないかと思われますが、
カメラにも得意・不得意なシーンがあり以下で説明するセンサを活用したセンサフュージョンが必要と考えられています。
カメラが不得意なシーン
カメラは光をセンサにうけてその時の色や光の強さを記録します。その際に、直射日光や車でいうと対向車のヘッドライトが直接カメラにあったってしまう場合などのケースで取得した画像が白飛び(画像が真っ白になってしまう現象)や逆に明るいところに焦点をあてるとその周りが暗くなってしまい画像が取れないなどのケースがございます。そのため、カメラを使った自動運転制御をおこなう場合に他のセンサを使ったセンサフュージョンを行うことが考えられています。
カメラの進化
カメラの弱点を補うための開発をセンサメーカでも取り組んでおり、ZMP製のRoboVision3はソニー製の最新CMOSセンサーIMX390を搭載、120dBの幅広いダイナミックレンジと24bitに対応したの画像の計測が可能になっています。これにより計測した画像は明るさの異なる画像を1つのファイルに計測が可能で、上記のような明るさの異なるシーンにおいても確実にデータを記録し、そのあとの画像処理で人の目を超えるセンシングが行える可能性を持った製品となっています。
ZMP製カメラのラインナップについては下記を参照いただければと思います。
取得したカメラの画像を使った認識や距離計測
画像の認識においては、ディープラーニングの技術を活用した物体認識やトラッキング、また、白線の検出、信号の認識、標識の認識、走行可能エリアの識別などドライバーが目で見た情報を運転に必要な認識まで担います。
また、カメラについては2つのカメラ（ステレオカメラ）を使った距離の計測なども行うことが可能で、これにより走行中の車両の前方の物の大きさや相対距離や速度なども計算することが出来ます。
カメラは純粋に人の“目”に当たる機能を担うセンサとなっています。
将来的には、人が目を使って運転しているように自動運転車もカメラの視覚情報だけで走行できることが理想的ではないかと思われますが、
カメラにも得意・不得意なシーンがあり以下で説明するセンサを活用したセンサフュージョンが必要と考えられています。
カメラが不得意なシーン
カメラは光をセンサにうけてその時の色や光の強さを記録します。その際に、直射日光や車でいうと対向車のヘッドライトが直接カメラにあったってしまう場合などのケースで取得した画像が白飛び(画像が真っ白になってしまう現象)や逆に明るいところに焦点をあてるとその周りが暗くなってしまい画像が取れないなどのケースがございます。そのため、カメラを使った自動運転制御をおこなう場合に他のセンサを使ったセンサフュージョンを行うことが考えられています。
カメラの進化
カメラの弱点を補うための開発をセンサメーカでも取り組んでおり、ZMP製のRoboVision3はソニー製の最新CMOSセンサーIMX390を搭載、120dBの幅広いダイナミックレンジと24bitに対応したの画像の計測が可能になっています。これにより計測した画像は明るさの異なる画像を1つのファイルに計測が可能で、上記のような明るさの異なるシーンにおいても確実にデータを記録し、そのあとの画像処理で人の目を超えるセンシングが行える可能性を持った製品となっています。
ZMP製カメラのラインナップについては下記を参照いただければと思います。
RoboVision2s
測距や物体検出ソフトに対応した超高感度ステレオカメラシステム
RoboVision3
最大150m、水平110°の距離と視野のセンシングが可能なステレオカメラ
・3D-LiDAR
3D-LiDARはライダー（Lidar）を意味する英語の頭字語を集めた単語で、「Light detection and ranging（光による検知と測距）」から由来した名前を持っています。
このLiDARは光を飛ばし、帰ってきた光を受光機で受け取りその時の時間差から距離を算出するというのが基本的な原理となります。
従来は2D-LiDARという形で水平面だけの計測を行っていたものが多かったものの、現在はいくつかの水平面を同時に計測が可能な3D-LiDARが自動運転では活用されています。
自動運転における3D-LiDARは、
・周辺の物体の検出
・自動運転車が自動運転で使っているマップのどこにいるのかを推定する自車位置の推定
などに活用されています。
このセンサの特徴としては、光を自分から発するため、外乱に強いという特徴があります。
現在では、より複数のレイヤー（走査線）をスキャンすることが可能になっています。
3D-LiDARの機構としては、機械的な回転式とSolid State LiDARと呼ばれるMEMS式の機構の種類があります。
現在ZMPにおいても、製品として3D-LiDARのセンサを取り扱いしておりZMPの自動運転を支えるセンサとしても採用しております。
このLiDARは光を飛ばし、帰ってきた光を受光機で受け取りその時の時間差から距離を算出するというのが基本的な原理となります。
従来は2D-LiDARという形で水平面だけの計測を行っていたものが多かったものの、現在はいくつかの水平面を同時に計測が可能な3D-LiDARが自動運転では活用されています。
自動運転における3D-LiDARは、
・周辺の物体の検出
・自動運転車が自動運転で使っているマップのどこにいるのかを推定する自車位置の推定
などに活用されています。
このセンサの特徴としては、光を自分から発するため、外乱に強いという特徴があります。
現在では、より複数のレイヤー（走査線）をスキャンすることが可能になっています。
3D-LiDARの機構としては、機械的な回転式とSolid State LiDARと呼ばれるMEMS式の機構の種類があります。
現在ZMPにおいても、製品として3D-LiDARのセンサを取り扱いしておりZMPの自動運転を支えるセンサとしても採用しております。
・ミリ波レーダ
ミリ波レーダは現在、主に高度運転支援システム（ADAS）の機能を実現するために採用されているセンサとして活用されているセンサです。
ミリ波レーダに使われている、ミリ波とは周波数帯が30GHz～300GHzの電磁波のことを意味しています。この非常に高い周波数の電波は直線性が強く、電波なのにレーザのように扱うことができます。Kの周波数を波長にすると1～10mmとミリオーダーの長さになることから、「ミリ波」と呼ばれています。
このミリ波レーダも上記で紹介したLiDARと同様で、電波を送信するアンテナと受診するアンテナから構成されその時の発信した電波と対象物に反射し帰ってきた電波の差分から対象物までの距離を算出しています。
このミリ波センサは、ADASの前車追従などに活用されており、自動運転においても検出したデータの軽さからセンサフュージョンもしやすく活用が検討されています。
また、ミリ波センサのミリ波は直線性が強いため、雨や雪が降っている悪天候な状況でも、遠くまで検出することが可能です。また、ミリ波は光ではなく電波なので、トンネルや対向車のライトが当たるなどのように明るさが急激に変化する条件でも、明るさに左右されず検出できることからカメラやLiDARを補完するセンサとして活用が検討されています。
ミリ波レーダに使われている、ミリ波とは周波数帯が30GHz～300GHzの電磁波のことを意味しています。この非常に高い周波数の電波は直線性が強く、電波なのにレーザのように扱うことができます。Kの周波数を波長にすると1～10mmとミリオーダーの長さになることから、「ミリ波」と呼ばれています。
このミリ波レーダも上記で紹介したLiDARと同様で、電波を送信するアンテナと受診するアンテナから構成されその時の発信した電波と対象物に反射し帰ってきた電波の差分から対象物までの距離を算出しています。
このミリ波センサは、ADASの前車追従などに活用されており、自動運転においても検出したデータの軽さからセンサフュージョンもしやすく活用が検討されています。
また、ミリ波センサのミリ波は直線性が強いため、雨や雪が降っている悪天候な状況でも、遠くまで検出することが可能です。また、ミリ波は光ではなく電波なので、トンネルや対向車のライトが当たるなどのように明るさが急激に変化する条件でも、明るさに左右されず検出できることからカメラやLiDARを補完するセンサとして活用が検討されています。
・超音波センサ
超音波センサは、送波器にから超音波を対象物に向け発信し、その反射波を受波器で受信することにより、対象物の有無や対象物までの距離を検出する機器です。ミリ波センサとも原理は似ています。
超音波はその名の通り、音を使ったセンサのため、超音波の発信から受信までに要した時間と音速との関係を演算することでセンサから対象物までの距離を算出しています。
音波は周波数帯20kHz～とミリ波レーダに対して低いため、直進性が低く計測距離も～10mとなっています。
車両では車のバックソナーや前方のソナーセンサーとして搭載されており、自動駐車など低速域における周辺の距離センサとして活用されています。
超音波はその名の通り、音を使ったセンサのため、超音波の発信から受信までに要した時間と音速との関係を演算することでセンサから対象物までの距離を算出しています。
音波は周波数帯20kHz～とミリ波レーダに対して低いため、直進性が低く計測距離も～10mとなっています。
車両では車のバックソナーや前方のソナーセンサーとして搭載されており、自動駐車など低速域における周辺の距離センサとして活用されています。
・GPSセンサ
ＧＰＳセンサは、携帯の位置情報を取得する際に使われるように自分たちの生活にも用いられている身近なセンサかと思います。
その機能としては、衛星から受信する信号からセンサの緯度・経度を計測するセンサです。
自動運転においては、単独のＧＰＳセンサを使った自己位置の推定の情報に活用したり、
より高精度な補正情報を加味したRTK方式やGNSSという衛星受信方式があります。
自動運転の制御においては、衛星信号が十分受信できる環境においてはＧＰＳを活用した制御も行われています。
その機能としては、衛星から受信する信号からセンサの緯度・経度を計測するセンサです。
自動運転においては、単独のＧＰＳセンサを使った自己位置の推定の情報に活用したり、
より高精度な補正情報を加味したRTK方式やGNSSという衛星受信方式があります。
自動運転の制御においては、衛星信号が十分受信できる環境においてはＧＰＳを活用した制御も行われています。
・加速度・ジャイロセンサ
加速度センサは、3軸（x,y,z軸）における加速度を計測するセンサ、ジャイロセンサは、3軸（x,y,z軸）における角加速度を計測するセンサです。
これにより、車が加速中なのか、減速中なのかや車両が曲がった時にどれぐらいの角度曲がったのかなど、計測した情報を演算することにより車両の走行状態の推定が可能なセンサです。
自動運転においては、デッドレコニングと呼ばれるような、加速度やジャイロセンサの計測値から移動経路を推定する手法に加速度・ジャイロセンサが活用され、GPSやその他のセンサの信号が正しく取得できない場合に、その位置情報を補完するために使われています。
これにより、車が加速中なのか、減速中なのかや車両が曲がった時にどれぐらいの角度曲がったのかなど、計測した情報を演算することにより車両の走行状態の推定が可能なセンサです。
自動運転においては、デッドレコニングと呼ばれるような、加速度やジャイロセンサの計測値から移動経路を推定する手法に加速度・ジャイロセンサが活用され、GPSやその他のセンサの信号が正しく取得できない場合に、その位置情報を補完するために使われています。
ZMPの自動運転車両で使用されるセンサ
ZMPでも自動運転車両を活用した制御開発に取り組んでおり、その中で活用されているセンサを下記にて紹介いたします。
以下は、自動運転車両に搭載可能なセンサーの紹介です。
主にZMPで実証実験などに活用しているRoboCar MiniVanに搭載実績のあるセンサー類となります。
その他のセンサー類につきましては、ご相談ください。
主にZMPで実証実験などに活用しているRoboCar MiniVanに搭載実績のあるセンサー類となります。
その他のセンサー類につきましては、ご相談ください。
■ステレオカメラ
◎RoboVision3
ZMPが新たに開発した『RoboVision3』は2つのステレオカメラを搭載するデュアルステレオカメラ(クワッドカメラ)です。レンズは望遠用のレンズと広角用のレンズを搭載し、シーンに応じた使い分けが可能です。
望遠用のレンズで150m先の距離、広角用のレンズは110°の視野角で交差点などの四角を減らした計測が可能です。
また、ソニーの最新CMOSセンサーIMX390を搭載し、LEDのフリッカーを抑え、明暗差に強い画像計測が行える製品です。
◎RoboVision2s
ZMPのステレオカメラは、左右眼の視差をもとにカメラの視野内をピクセルごとに距離として算出することができます。
また距離データを地面からの高さデータに変換することで、車や人、その他の障害物を認識（物体検出ソフトウェアが必要）、また周囲の視野内を走行する車両やバイクをトラッキングすることで車間距離や相対速度を計測するなどもできるようになります。
RoboVision2sとRoboCar MiniVanを組み合わせることで、自動運転やADASのセンサー開発や制御開発へ活用いただけます。
（取り付け場所は車内となります。）
RoboVision2sをRoboCar MiniVanへ実際に搭載したイメージ
RoboVision3
最大150m、水平110°の距離と視野のセンシングが可能なステレオカメラ
RoboVision2s
測距や物体検出ソフトに対応した超高感度ステレオカメラシステム
■単眼カメラ
◎FLIR製USB3.0カメラ（https://www.ptgrey.com/usb3-vision-cameras）
ZMPの自動運転技術開発において、ステレオカメラRoboVision2sと併せて単眼カメラも環境認識に活用しており、汎用的な開発用カメラとしてFLIR製カメラを設置、活用している実績があります。 Grasshopper3やBlackflyといったカメラをフロントガラスやリアガラスに取り付けるブラケットをセットでご提供しております。
【価格】
お問合せください。
お問合せください。
■LiDAR
◎IBEO SCALA （ジック株式会社製品ページ ※外部サイトへジャンプします)
ZMPの自動運転技術開発においても利用実績のあるIBEO製のマルチレイヤー型2D-LiDAR「SCALA」をRoboCar MiniVanへ設置することで、自車両の周囲における走行車両、バイク、歩行者などを検出することができ、ADAS・自動運転の開発のためのデータとして利用することができます。 当社ではRoboCar MiniVanのバンパー加工含めて車検を取ることができるような取り付け加工を行っております。
LiDARをRoboCar MiniVanに実際に設置したイメージ（車検取得済み）
◎Velodyne HDL32e／VLP16 （株式会社アルゴ製品ページ ※外部サイトへジャンプします）
自動運転の研究開発に多く利用されている、Velodyne社製の3D-LiDARが当社搭載設置の実績としてあります。
RoboCar MiniVanとVelodyneを組み合わせることで、オープンソース自動運転ソフトウェアAutowareも動作させることができ、RoboCar MiniVan Autowareパッケージとしてもご提供をしております。 搭載用の専用ブラケットと併せてご提供いたします。
Velodyne HDL32eをRoboCar MiniVanへ実際に設置したイメージ
【価格】
お問合せください
お問合せください
■ミリ波レーダー
◎79GHz帯ミリ波レーダー
ADAS・自動運転に採用されるセンサーの1つとして電波型ミリ波レーダーがあります。ZMPではRoboCar MiniVanにミリ波レーダーを搭載している実績があります。 ミリ波レーダーは前方車間距離の計測等ができACC（前方車追従機能）の実現にむけた開発シーンで利用することができます。 RoboCar MiniVanのフロント中心付近へ専用ブラケットで設置し納品することも可能です。
79GHz帯ミリ波レーダーをRoboCar MiniVanへ実際に設置したイメージ
【価格】
お問合せください
お問合せください
■GNSS装置（位置測位）
◎ZMP Position-Z （https://www.zmp.co.jp/products/position-z）
位置測位の代表的な装置としてGNSS（通称GPS）がありますが、ZMPではCAN出力ができる小型GNSS装置として「ZMP Position-Z2」を提供しております。GPSと気圧センサーを一体型としたセンサーモジュールで、計測データをCANフォーマットで出力できるため、車両CANなどと同時に計測がしやすくなっています。
ZMP Position-Z2の車内設置イメージと付属ビューワーソフト
【主な仕様】
| GPS |
測位制度 3m CEP（50%） チャンネル：99チャンネル、測地データ：WGS84 GPS感度：165dBm（トラッキング）、148dBm（アクイジション）、準天頂衛星・グロナス |
| 気圧センサー |
測定範囲：260～1260hPa、分解能：0.01hPa（約10cm）、精度±0.1hPa リファレンスセンサー温度：0～65℃ |
| 通信インターフェース |
CAN（500kbps／1Mbps）、スタンダードフォーマット ZMP IMU-Z2やカートモUP Proとの組み合わせでBluetooth通信も可能 |
| 電源 | 3.3V（入力電圧範囲：3.3～15V） |
| サイズ・重量 | 40mm×55mm×20mm、 約32g |
【製品詳細】
Position-Z
CAN出力可能なGPS・気圧一体型ポジションセンサ
【価格】
GPS・気圧一体型ポジションセンサZMP®Position-Z2 128,000円（税別）
車両の位置・挙動・環境を同時計測可能なセンサパッケージ ZMP Position＆Motion 276,000円（税別）
GPS・気圧一体型ポジションセンサZMP®Position-Z2 128,000円（税別）
車両の位置・挙動・環境を同時計測可能なセンサパッケージ ZMP Position＆Motion 276,000円（税別）
◎JAVAD製 RTK-GNSS （https://www.javad.com/jgnss/products/receivers/delta-3.html）
位置測位の重要な構成品としてGNSSがありますが、RTK（Real Time Kinematic）GNSSで数センチレベルの位置測位精度を出すことができます。ZMPの自動運転技術においても、RTK-GNSSは活用されており、RoboCar MiniVanにJAVAD製 RTK-GNSSが設置、活用された実績を持っております。
JAVAD製RTK GNSSをRoboCar MiniVanに実際に設置したイメージ
【価格】
お問合せください。
お問合せください。
■IMU（慣性センサー）
◎ZMP IMU-Z2 （https://www.zmp.co.jp/products/imu-z）
ZMPでは9軸（3軸加速度、3軸ジャイロ、3軸地磁気）の小型モーションセンサーを提供しております。 CANフォーマットで通信ができ、車両CANとあわせて計測するのに便利で使い勝手のよいIMU製品となっております。 SDKとしてWindowsの.NETコンポーネントとして提供しており、Microsoft Visual Studioなど、汎用的な環境で開発を行うことができると共に、サンプルプログラムや拡張カルマンフィルタによる精度が良く、かつ応答速度が向上した姿勢推定ライブラリも利用可能です。
ZMP IMU-Z2
【主な仕様】
| センサー |
3軸加速度センサー（±2/4/8/16 [G]（切替可）、12 [bit]*） 3軸ジャイロセンサー（±250/500/2000[deg/s]（切替可）、16[bit] *） 3軸地磁気センサー（±0.88～8.1[gauss]（切替可）、12[bit] *） （*サンプリングレートによります） |
| CPU | ARM Coretex-M3プロセッサ |
| 通信インターフェース | CAN（500kbps／1Mbps）、Bluetooth Ver2.0+EDRクラス1 |
| サンプリングレート | 加速度センサー：最大1[msec]／ジャイロセンサー：最大3[msec]／地磁気センサー：最大6[msec] |
| サイズ、重量 | 36mm×52mm×11mm、 20g |
IMU-Z2
無線・有線で計測可能な9軸モーションセンサ
【価格】
9軸ワイヤレスモーションセンターZMP IMU-Z2 & SDK 298,000円（税別）
ワイヤレスモーションセンサー（追加用）98,000円（税別）
9軸ワイヤレスモーションセンターZMP IMU-Z2 & SDK 298,000円（税別）
ワイヤレスモーションセンサー（追加用）98,000円（税別）
◎Sensonor製 小型9軸IMUユニット （https://www.sensonor.com/products/inertial-measurement-units/stim300/）
ZMPのRoboCar MiniVanへ設置し自動運転技術開発で活用した実績のある高精度IMU製品として、Sensonor製の小型9軸IMUユニットSTIM300があります。
Sensonor製小型9軸IMUユニット STIM300
【価格】
お問合せください。
お問合せください。
製品のお問い合せはこちら
■車載汎用電源装置
PCや専用機などの外部装置、および各種センサー類を搭載した際、安定した電源の確保が課題と ZMPでは走行実験においても外部から独立した車載の電源を確保しながら、長時間にわたって継続的な給電機能を提供する車載電源ユニットPowerUnit-Zをオプションとして提供しています。 RoboCar MiniVanのトランクに設置できるよう、絶縁体ケースとして木製の箱の中に収納しています。
【主な仕様】
| 入力6 | 12Vバッテリー（車両12V補機バッテリー直結） |
| 出力 | AC100V／1500W |
| 容量 | 100Ah |
| 安全機能 | メインバッテリー保護、サブバッテリー保護、過負荷保護、温度保護 |
| サイズ | 約940×360×312mm |
| 重量 | 54kg |
【価格】
PowerUnit-Z（箱入り）一式 90万円（税別）
PowerUnit-Z（箱入り）一式 90万円（税別）
【製品の詳細】
Power Uniｔ-Z
自動運転・高度運転支援システム実験用車載大電力バッテリシステム
お問合わせ・資料請求
上記に関する問合せ、資料請求などについては下記よりご連絡いただければと思います。
© ZMP INC. All Rights Reserved.