テーマ（２）-評価指標・体系の確立 – 

DIVP®プロジェクトでは、実際の現象と高度に一致した「運転環境オブジェクト - 電磁波伝播 - センサ」モデルに特徴づけられた仮想空間での検証プラットフォームを構築し、幅広い環境シナリオ下での自動運転の精確かつ効率的な安全保証を可能にすることを目指しています。DIVPでは安全性評価に対して、３つのテーマを軸とし、活動を推進しています。 

（１）環境・空間描画・センサモデルを用いたツールチェーンへの拡張 

（２）評価指標・体系の確立 

（３）センサ弱点事象の特定と事象の拡張 

このレポートでは、テーマ（２）評価指標・体系の確立　の取組をご紹介します。

テーマ（２）とは 

背景・目的

既存の仮想空間を用いた自動運転評価は真値Sim1による制御ソフトの機能評価が中心であり、物理Simの一致性と計算速度の課題によりセンサ認識性能を考慮した安全性評価は実現できていません。DIVPでは、従来研究による一致性の高い物理Simに加え、本テーマの2-stage評価と真値・評価指標の出力機能を活用してこの課題を解決し、有効性を検証しています。 

研究の概要 

自動運転システムは人間の運転手と同様に認知・判断・行動に基づき動作しています。そのため、図１に示すように、AEBなど緊急回避システムが想定通りに動作しているのか評価解析するためには、最初の動作となる認知がどの地点で行われているのかを評価することが重要となります。一方、既存シミュレータを用いた自動運転システムの評価対象は判断・行動にあたるECUソフトウェア～車両運動が中心となっており、認識結果に正解値を用いる機能評価か、経験的に定義した認識誤差を用いるロバスト性評価が主体となっています。その原因は、実験計測を用いても既存センサシミュレータを用いても様々な交通条件における認識性能を評価することができないことに起因しています。 

本研究では図2に示すように、認知評価に当たるセンサ認識評価を1st-Stageに、判断・行動評価にあたる安全性評価を2nd-Stageと定義し、それらStageをつなぐ認識性能モデルを用いた評価体系：2-Stage評価体系を提案しています。本体系では、計算時間が長い精緻な物理センサシミュレーションを用いた認識アルゴリズムの評価結果を認識性能モデルへと縮退化することで、認識性能を加味した安全性評価が高速にシミュレート可能であることが最大の特徴です。これにより、従来は経験的に定義した認識誤差を用いていたロバスト性評価を、どのタイミングでどれだけの精度をもって交通参加者を認識できているのかなど、実際の認識アルゴリズムの振る舞いに基づいた制御アルゴリズム～車両モデルまでの安全性評価へと昇華させています。 

初めに1st－Stageでは、物理現象を精緻に再現したDIVPシミュレーションを用いて様々なシナリオ（環境条件と認識対象条件）における網羅的な認識性能評価を行います。次に、1st-Stageのシナリオ条件と認識結果を学習データセットに用いて認識性能を算出する1st-Stageの縮退モデル：認識性能モデルを定義します。最後に2nd-Stageでは、認識性能モデルの算出結果による認識結果を用いて様々なシナリオ（交通条件と環境条件）における網羅的な判断・行動の安全性評価を行います。 

各ステージの評価シナリオは共通のユースケースから定義され、1st-Stageシナリオでは自動運転のセンサ仕様（センサ方式、設置位置、FOVなど）とODD（運行時の日時、天候、認識が必要な交通参加者種別）によりジオメトリ条件と物性条件を決定し、2nd-StageシナリオではODDから導出する周辺交通参加者の行動条件を加えて決定します。 

アプローチ 

本研究では2-Stage評価の構築と立証、それを用いた実開発・評価実務への応用検証を図3に示すように4テーマに分けて実施しています。(a)では、2-Stage評価環境をクラウド上で構築しユースケースに基づく効果検証を実施します。ユースケースはAD-URBANプロジェクトの自動運転システムがひたちBRTの運行ルートにある交差点：磯坪交差点を通過するうえでの安全性評価と定義しています。(b)では認識性能向上への技術応用として、(a)の認識評価結果を分析して性能低下が顕著な条件からそれを克服するための追加学習データセットを作成する技術の開発と検証を実施します。(c)では2-Stage評価体系の基盤機能として、安全性能の定量値化に用いる評価指標の研究とそれをシミュレーション出力するための機能研究を実施します。(d)で2-Stage評価体系の具体応用として、NCAPなどを既存AD/ADASアセスメントに2-Stage評価を適応するための調査研究と実現性の検証を実施しました。各テーマについて、次章で背景や目的、具体的な実施内容等を記載します。 

ADシステムの仮想空間評価の確立（環境再現性テスト、認識限界評価） 

（a）2-Stage評価体系と評価指標の確立 

背景・目的 

自動運転車両の安全性評価方法は定まった手法は確立されておらず、実公道を網羅的に走行しそれによって安全性を示す方法がとられている。そのため、本テーマでは精緻な物理SimであるDIVPを用いて安全性評価体系の確立を目指す。 

実施内容 

一般道の代表事例として交差点右折シナリオにおけるAD-URBAN自動運転システムの安全性評価を実施し、評価フローと指標・クライテリアの実例を示し、評価体系の確立を進める。図4に示すように、①センサの認識性能評価（1st-stage）を実施し、②認識性能を統計誤差モデルとしてGround Truthへ反映、③認識性能に基づいた自動運転車の安全性評価（2nd-stage）を行う2-stage評価体系の有効性検証を進める。また各地で行われる地域実証実験プロジェクトへの展開・活用を目指して、以下の計画で本技術を用いたプラットフォーム構築を進める。 

• 2023年度：一般道の代表事例となる交差点右折シナリオにおいて2-stage評価を完了 

• 2024年度：評価シナリオの範囲拡大、2-stage評価がシームレスに実行可能なプラットフォームの構築 

• 2025年度：地域実証実験への展開とフィードバックに基づく改良 

本研究成果の価値 

ADASシステムを含め、シミュレーションを用いた安全性評価手法の実例は世界的に実現していない。このプラットフォームが安全性評価の標準化に貢献し、日本発信でAD・ADASの安全性向上を牽引することができる。 

（b）物理センサSim.を用いた認識アルゴリズム性能向上 

背景・目的 

カメラなどの物体認識アルゴリズムの開発には一般的にディープラーニングが用いられる。しかし、一般公道への対応となると、歩行者や信号機といった多種多様な認識対象物を様々な気象条件下で取得した学習データの準備に多大な時間を要する。本テーマでは、実際の自動運転に用いられる認識アルゴリズムに対し、シミュレーションで生成した学習データを用いることで開発効率を向上させる手法を研究する。 

実施内容 

図5に示すように、豊田工業大学等で開発しているカメラ・LiDAR・ミリ波Radarを用いた認識アルゴリズムを対象に、DIVPで生成した精緻なセンサ出力データと認識正解値データを用いた機械学習結果の性能検証を実施する。以下のとおり、まずは単体センサを対象として、Fusionやインフラセンサを踏まえた検証を進める。 

• 2023年度：単体センサ認識アルゴリズムの性能向上 

• 2024年度：Fusionアルゴリズムの性能向上 

• 2025年度：インフラセンサなどV2Xまで含めた性能向上 

本研究成果の価値 

開発に膨大な費用と時間のかかる学習データの準備を飛躍的に短縮することにより、センサ認識性能の向上による安全性能向上へ貢献する。 

（c）真値出力・指標算出機能の拡張 

背景・目的 

センサの認識性能評価や認識アルゴリズムの学習において認識正解値（以下、真値）や性能評価指標は必要不可欠となるが、現在は実測のセンサ出力データをもとに人の手で真値を作成しているため効率と精度に課題がある。また、シミュレーション真値出力の標準規格が国際的に議論されているが、認識性能や安全性評価に活用するためには不十分である。本テーマでは認識性能評価と安全性評価の観点から必要な真値出力と評価指標の要件定義・機能実装を進める。 

実施内容 

図6に示すように、交通参加者や信号機・道路標識、白線・車線情報の真値出力機能を実装し、それらを活用した認識性能と安全性の評価指標の出力機能を実装する。特にV2X評価に向けた研究開発として、インフラセンサやV2X通信の遅延を考慮した真値出力機能の実装に注力する。各要件定義においては(2)-1.a.や(2)-1.b.の検討結果を集約し、実装完了した機能は各テーマで活用していく。 

本研究成果の価値 

真値出力の標準化活動に対し、認識性能と安全性評価への活用に向けた改善提案が可能となる。 

（d）Virtual Assessment評価の確立 

背景・目的 

現在の実車による評価方法では、恣意的に必要な走行環境条件を設定することが困難であることから、特定の走行環境条件下で自動運転車の安全性を評価できる手法の開発が必要である。加えて、現状の自動運転車の開発において膨大な時間を要する実車による安全性評価の効率化を狙い、仮想空間における自動運転安全性評価認証環境の検証を行いVirtual Assessment 評価の確立を行う。また、アセスメントの高度化に伴い従来のモービルマッピングシステムで計測したデータや複数の撮影画像データから多種多様なVirtual-PG2 を即座に構築できる手法を整備する。 

実施内容 

2023年度からは、Virtual Assessmentの要件調査、検討を行い、次年度以降のテストコースにおけるVirtual NCAP3の一致性の検証に繋げる。これと平行して国内のテストコースを計測し、得られたデータを基にVirtual-PG構築の検証を行う。そして、国内外のテストコースでの検証を皮切りに、高速道路、一般道の検証へ繋げ、実測からVirtual-PG構築の手法を確立する（図7）。 

本研究成果の価値 

この成果を用いて、国内外の自動車アセスメントに寄与し、自動運転車及びシステムの安全性評価技術の業界全体としてのレベルアップと効率化を両立し、産業競争力の向上を図る。仮想空間モデルの標準化を行いつつ、実測からVirtual-PG構築の手法を幅広い分野へ展開、仮想空間における実車評価に基づく評価プロトコルへの落とし込みやセンサモデルの要件を盛り込んだVirtual-PGを効率的に作成する。