画像認識プロセッサ Visconti®シリーズ
Visconti®シリーズは、カメラから入力された映像を1フレーム毎に(時系列処理の場合は数フレーム前も含めて)画像処理して、検出対象 たとえば人，顔，手，車両やこれらの動きなどを検出し，検出結果を提示 たとえばLCDパネルにカメラ映像上に検出対象をマーキングして表示，音声や音で警告，通信I/F経由で他ユニットとコミュニケーションする画像認識プロセッサLSIです。
Visconti®シリーズのターゲット商品は、画像認識技術を使ったシステムで、民生市場ではハンドジェスチャ(手の動き)，モーションキャプチャ(身体の動き)などを利用したゲーム機器など、産業市場では人検知や顔認識などを利用した監視カメラやセキュリティ機器など，車載市場では歩行者・車両・標識などの検知を利用した先進運転支援システム(ADAS)があります。
下図に先進運転支援システムのアプリケーション例を示します。 Visconti®シリーズは、 1～4台のカメラからの入力画像をリアルタイムに処理し、自車周辺の車線，車両，歩行者，標識などを認識することで、車線逸脱警報(LDW)，前方・後方衝突警報(FCW/BCW)，前方・後方歩行者検出警報(NV/BOP)，制限速度超過警報(TSR)など様々な運転支援のためのアプリケーションを実現します。
先進運転支援システム 紹介動画
画像認識技術を使用した先進運転支援システム (ADAS) を動画て紹介しています。
ロードマップ
製品紹介：Visconti®シリーズ
基本システム構成図
特長
- 組み込み用画像認識システムに適した同時並列動作するヘテロジニアス・マルチコア・アーキテクチャ(複数の異なるコアで構成する方式)を採用し、低消費電力でリアルタイムに画像認識処理を実現。
- i. 画像処理アクセラレータ
画像認識処理の各ステップで多用される画像処理を、極めて高速にかつ低消費電力で実行する画像処理アクセラレータを搭載しました。Visconti®は魚眼・広角レンズの歪を補正したり、視点変換を行うアフィン変換アクセラレータを搭載しています。Visconti®2はアフィン変換アクセラレータに加えて、ノイズ低減・エッジ検出・色変換などの画像処理を行うフィルタ・アクセラレータ、ヒストグラム作成を行うヒストグラム・アクセラレータ及び視差計算や動き検知を行うマッチング・アクセラレータを搭載しています。Visconti®2シリーズのTMPV7506XBGは、さらに人物認識に適した勾配方向ヒストグラム(HOG)特徴量を扱うHOGアクセラレータも搭載し、静止した歩行者もリアルタイムに検知が可能となりました。 - ii. マルチ・グレイン並列アーキテクチャのメディア・プロセッシング・エンジン(MPE)
MPEは、東芝オリジナルの低消費電力32ビットRISCコアのMeP(Media embedded Processor)に、画像処理などマルチメディア処理に適したコプロセッサを接続し、一命令で複数のデータを同時に演算するSIMD(Single Instruction Stream-Multiple Data Stream)命令を含む複数の命令を同時に実行するVLIW(Very Long Instruction Word)技術のメディア・プロセッシング・エンジンです。MPEを複数個搭載したマルチコア構成( Visconti®は3個のMPEを搭載、Visconti®2シリーズは4個のMPEを搭載 )で、複数アプリケーションの同時実行を実現するほか、さまざまな画像処理アルゴリズムを実装のためのソフトウェア・ソリューションを提供します。 - iii. コントロールCPU
Visconti®2はPCI Express、シリアル・インタフェース(UART，SPI，I2C)などさまざまな周辺機能モジュールを搭載しているため、32ビットRISCコアのMeP(Media embedded Processor)を追加し、これらの周辺機能モジュールの制御を行うことで、MPEから周辺機能モジュール制御を解放します。
- i. 画像処理アクセラレータ
- C言語でのアプリケーション開発を支援するソフトウェア開発キット(SDK)を用意。
SDKには、画像処理アクセラレータを利用したさまざまな画像処理ライブラリ，内蔵周辺機能モジュールのデバイスドライバ及びCコンパイラ，Visconti®シリーズのキーモジュールを実装したシミュレータなどのツールが用意しています。 - 高解像度カラー/広ダイナミックレンジグレイスケールのマルチカメラ入力とマルチレイヤ合成のビデオ出力インタフェース搭載。
Visconti®は8ビット輝度のグレイスケールカメラを最大3台接続でき、自車の左右後側方及び前方または後方の監視による車線変更支援と前方または後方衝突警報などを同時に実現できます。Visconti®2シリーズでは、8～12ビット輝度のグレイスケールカメラまたは最大130万画素の高解像度カラーカメラを最大4台(TMPV7506XBG)，最大2台(TMPV7504XBG)接続でき、認識精度向上だけでなく、信号色や標識など色認識を必要とするアプリケーションや4カメラ映像を合成し鳥瞰表示する駐車支援アプリーケンションなどに適用できるようになりました。
ブロック図
Visconti®2 (TMPV7506XBG)
Visconti®2 (TMPV7504XBG)
Visconti® (T5BG3XBG)
主な仕様
| グループ | Visconti® | Visconti®2 | ||
|---|---|---|---|---|
| 製品名 | T5BG3XBG | TMPV7504XBG | TMPV7506XBG | |
| CPU | - | 東芝オリジナル 32ビットRISC CPU “MeP (Media embedded Processor)” | ||
| 画像処理 プロセッサ | メディアプロセッシングエンジン | 東芝オリジナル メディアプロセッシングエンジン “MPE” 3個 | 東芝オリジナル メディアプロセッシングエンジン “MPE” 4個 | |
| 画像処理 アクセラレータ | アフィン変換 | 1ch | 1ch | |
| フィルタ | - | 2ch | ||
| ヒストグラム | - | 1ch | ||
| 勾配方向ヒストグラム(HOG) | - | - | 1ch | |
| マッチング | - | 1ch | ||
| 内蔵メモリ | ROM | - | マスクROM: 64キロバイト | |
| RAM | - | SRAM: 2080キロバイト | ||
| 内蔵周辺機能 | ビデオ入力インタフェース | 最大3ch (グレイスケール) | 最大2ch (カラー/グレイスケール) | 最大4ch (カラー/グレイスケール) |
| ビデオ出力インタフェース | 1ch (VGAサイズ, RGB888) | 1ch (WVGAサイズ, RGB888) | ||
| メインメモリコントローラ | SDRAMコントローラ | DDR2 SDRAMコントローラ | ||
| NOR Flash/SRAMコントローラ | ||||
| 外部MCUインタフェース | 1ch (8ビット双方向パラレル入出力) | |||
| PCI Express | - | - | 1 lane | |
| CANコントローラ | - | 3ch | ||
| I2Cインタフェース | - | 4ch | ||
| UARTインタフェース | 1ch | 5ch | ||
| SPIインタフェース | - | 4ch | ||
| PCMインタフェース | - | 2ch | ||
| タイマ/カウンタ | 4ch | 11ch | ||
| 動作周波数 | 150MHz | 最大 266MHz | ||
| パッケージ | BGA 456ピン, 27mm×27mm | BGA 516ピン, 27mm×27mm | ||
- ニュースリリース
※Bluetoothは、その商標権者が所有しており、東芝がライセンスに基づき使用しています。
※本ページに記載されているシステムおよび製品名は、一般に各社の登録商標または商標です。
