Imaging AI

画像を中心とした高速・高精度なAI処理の技術群

Imaging AIは、コニカミノルタ独自の画像を中心とした高速・高精度なAI処理の技術群です。
主に「AIアルゴリズム」「AIアクセラレーター」の2つの技術で構成されています。

AIアルゴリズム

コニカミノルタのAIアルゴリズムは「人行動」「先端医療」「検査」の3つのカテゴリーに絞って必要なAI技術開発が行われています。
この3つのカテゴリーはエッジ戦略をとるコニカミノルタと整合が高く、応用範囲が広いことが特徴です。
画像・動画は、大量のデータを学習する必要があるため、コニカミノルタではこの3つのカテゴリーに特化して、最適化のための独自の学習環境を整備しています。
画像・動画のAI処理は、クラウドの豊富なリソースで実施するやり方もありますが、コニカミノルタは情報機器や医療機器の画像処理を高速に行ってきた経験と、メーカーの強みを生かして、エッジ側 (組み込み機器やオンプレミスのサーバーなど) に、低消費電力で高速なAI機能を実装します。
すなわち、End To EndでAIシステムを最適化できる技術を持っていることが強みであり、コニカミノルタの画像 IoT戦略の基本になります。
AI技術戦略とは

認識精度の高さと高速処理を両立した「人行動」認識技術

コニカミノルタの「人行動」カテゴリーにおける AI 技術開発では、Deep Learning を活用した人検知・姿勢推定・行動認識などのアルゴリズム開発を進めています。大量の現場画像を学習させることで、どのような環境でも誤認識しない、ロバストな「人行動」認識技術の開発を行っています。
実際に、単眼静止画像からの人検知・2D姿勢推定において、認識精度の高さと高速処理の両立を実現し、すでに次のような事業に活用しています。

HitomeQ ケアサポート

普及が進むこれまでの姿勢推定技術は、カメラで人を横から撮影することを前提としていて、そのままではこのHitomeQ ケアサポートでは利用できません。そこで、天井のカメラからでも認識可能な姿勢推定手法の開発に取り組みました。頭部や下腿部といった人体部位の位置関係を特徴量として用い、人物領域とその姿勢を推定する独自のアルゴリズムを開発しました。

HitomeQ ケアサポート

ーHitomeQ ケアサポート(ヒトメク ケアサポート)

Go Insight®

この「人行動」認識技術は、店舗における購買行動プロセスをデータ分析してマーケティング活動につなげる「Go Insight」サービスで、顧客の滞在時間・棚前行動などの分析にも活用されています。
新たに開発した人検知・姿勢推定アルゴリズムは、世界トップレベルの認識精度と高速処理を両立する技術として、コンピュータービジョンの最難関国際学会であるECCV2018で発表しています。

Go Insight

AIアクセラレーター

AI技術の1つであるディープラーニングはGPU上で推論させることが一般的ですが、高価かつ高消費電力の推論専用のハードウェアが必要となる課題があります。また、大きさもネックとなりエッジデバイス上への実装は困難となります。
一方アクセラレーターと呼ばれる専用ハードウェアで実行することで、精度を維持したまま低コストや省電力を実現できます。また、省スペース化を可能としエッジデバイスへの組み込みにより、通信環境に依存しないリアルタイム性が求められるシステムに最適化できます。ただしディープラーニングのアルゴリズムをハードウェアの回路データに変換するには、精度を維持するために複雑な設定の調整などに多くの期間を有します。
コニカミノルタではハードウェアの回路データに変換する過程において、高速・高精度に変換する独自技術を保有しています。その結果、開発効率を高め現場からのフィードバックを受けてのアルゴリズムの更新が迅速に行うことができ、顧客課題を解決するまでのサイクルをより高速に回すことができます。

FPGA用の高位合成コンパイラ「NNgen」

コニカミノルタでは、ディープラーニング(深層学習)の学習済みモデルをFPGA(Field Programmable Gate Array)上に手軽に実装するための高位合成コンパイラ「NNgen(エヌエヌジェン)」を東京大学の高前田 伸也准教授と共同で開発し、オープンソースで一般公開しています。

NNgenを使うと、ハードウェアのチューニングに関する深い知識がないエンジニアやデザイナーでも、ディープラーニングの学習済みモデルから、FPGAで高速に動作するアクセラレーターを効率的に開発できます。

 

その結果、FPGAが搭載されたデバイス機器などのエッジサイドで、AI処理をリアルタイムに実施する製品やサービスが実現できるようになります。

またNNgenはオープンソースで一般公開されているので、利用者は無償で利用したり、開発に貢献したりできます。

NNgenはGitHubで公開されています。

NNgen: ディープラーニングのアクセラレーター向け高位合成コンパイラ

 

開発経緯と技術概要

AIの中でも、ディープラーニングに大きな注目が集まっています。ディープラーニングにより、画像処理や音声処理など様々な分野で劇的な精度向上が実現されてきました。一方でその計算には膨大なコンピューターリソースが必要で、省電力・高性能な専用ハードウェアの重要性が増してきています。

このような専用ハードウェアの一つに、回路構成を変更可能なハードウェア「FPGA」を用いる方法があります。処理内容に応じて回路構成をカスタマイズできるFPGAの特性を生かして、学習済みのディープラーニングモデルに特化した回路構成を採用することで、小型かつ高速なアクセラレーターを実現できる所がメリットです。

NNgenは、用途に応じて構築・学習済みのディープラーニングモデルを高速に処理できる専用アクセラレーターを、FPGA上に手軽にかつ効率的に実装するためのドメイン固有型の拡張可能な高位合成コンパイラです。モデルに特化したハードウェアアクセラレーターのハードウェア記述(Verilog HDL)およびIPコア設定ファイル(IP-XACT)を生成します。

開発経緯と技術概要


「NNgen」の主な特徴

1.高い抽象度で手軽に実装できる

  • 一般的な深層学習フレームワークと同様のPythonによるモデル構造記述から自動的にアクセラレーター回路記述を生成
  • ONNX入力にも対応
  • ハードウェアパラメータを設定するだけで性能最適化が可能

2.様々な粒度でコンパイラを機能拡張できる

  • コンパイラ・バックエンドには、高前田 伸也准教授が開発したマルチパラダイム型高位合成フレームワーク「Veriloggen」を用いており、カスタムレイヤーの追加などの拡張が可能

3.様々なFPGA環境に対応できるポータビリティ

  • 学習済みのディープラーニングモデルからVerilog HDLを直接生成

※記載されている会社名、製品名は各社の登録商標または商標です。

活用事例

【丸紅ネットワークソリューションズ株式会社】TRASCOPE-AI(商業DX:人流マーケティングソリューション)

商業施設に設置するカメラ(既存カメラ含む)の映像に対し、FOXAIアルゴリズムで解析した動線分析、属性分析をお客様にダッシュボードで提供

エッジAIカメラ MOBOTIX 7

デバイスサイドでの物体検知をはじめとしたAI実装技術を独自で開発、スタンドアロンの監視カメラでの各種検知機能を実現

見える化ソリューション

高精度な人物検出のAI技術・データ管理プラットフォームを独自開発、生産現場の稼働状況の可視化・効率化を実現

AI外観検査ソリューション

X線画像診断・産業印刷で培った画像処理の知見を活かした独自の外観検査アルゴリズムを開発、検査自動化による人手不足解消を実現

Runalytic

高速かつ高精度な独自の姿勢推定アルゴリズムを開発、市民ランナーに向けた効率的なフォーム改善指導を実現

Go Insight

天井位置からの撮影でも認識可能な独自の姿勢推定アルゴリズムを開発、店舗における購買行動プロセス分析を実現

HitomeQケアサポート

天井位置からの撮影でも認識可能な独自の人物領域切り出し及び姿勢推定アルゴリズムを開発、介護施設での転倒検知を実現

FORXAIのソリューション・技術について お気軽にお問い合わせください