FORXAI Experience Kit Low Latency

遠隔操作を行う場合、遅延が 100msを越えると人は違和感を持つと言われています。一般的なネットワークカメラの遅延は200ms～1000msとなり、リアルタイムに遠隔操作を行うには難しい遅延となります。また、ネットワークの転送時間は全体の1/3程度（FEK-LLを用いて構築したシステムにて1/3 程度）であり、通信時間だけを5Gで短縮したとしてもリアルタイムな遠隔操作には十分ではありません。5Gの持つ大容量/低遅延の特徴を活かすには、画像を送信するカメラ（FEK-LL）、画像を受信するサーバー含めてシステム全体で遅延を減らす必要があります。
そこで、カメラからサーバーまでシステム全体で超低遅延に取り組み、リアルタイムな操作が可能なFEK-LLを用いたシステムの開発を進めています。

現在のFEK-LLを用いたシステムでは、カメラ、サーバー含めてシステム全体で50～70ms の遅延まで実現できており、低遅延を体感できます。
低遅延を体験できるデモとして、ラジコンカーの停止操作実験を紹介します。

まず、一般的な市販のネットワークカメラで送信された映像を見ながら操作し、ブレーキ位置に来た時に、ラジコンを止める操作を行います。

ラジコンが停止位置に来た時、転送された映像(下側)では、ラジコンはスタート地点で停止したままです。したがって、停止が間に合わず、壁に衝突してしまいます。

次に、コニカミノルタのFEK-LLでの操作です。

FEK-LLの映像では、実物と送信された映像の遅延は 50～70msとなるため、ほぼリアルタイムにラジコンを操作できます。停止位置で止める操作が間に合い、衝突を回避することが可能です。

FEK-LLでは、HWによる画像処理と骨格検出処理により、骨格情報を検出します。抽出した骨格情報を用い、アラートの条件を組み込むことで、FEK-LLから直接アラート通知を発行することができます。

【Hardware】　
　FEK-LL一式
【Software】
　FEK-LL本体制御FW
　受信側PCのコマンドシェル
　DHCPのIPアドレス検索シェル
　ターミナル接続用UART Windowsドライバ
【Document】
　手順書

遠隔監視システム
遠隔操作システム

FORXAI パートナー様との取り組みや、コニカミノルタの工場で、実証実験に取り組んでいます。

FORXAI Experience Kitは画像を中心とした高速・高精度なAI処理の技術群であるFORXAI Imaging AIの技術を活用した開発キットです。

FORXAI Experience Kitは現在レンタルを実施中ですので、ぜひお気軽にお問い合わせください。
今後、対応するAIアルゴリズムを順次追加する予定ですので併せてご期待ください。