SIGGRAPH Asia 2021参加報告

はじめに

こんにちは，AI技術開発部の池田です．2021年12月にコンピューターグラフィックスの祭典であるSIGGRAPH Asia 2021に参加してきました．当記事では簡単に参加報告をしようと思います．

SIGGRAPH Asiaとは

「SIGGRAPH Asia」は、コンピューターグラフィックス（CG）とインタラクティブ技術の祭典です．コンピュータ科学分野の国際学会（ACM: Association of Computing Machinery）の分科会である「SIGGRAPH」のアジア版になります．科学やアート，アニメーション，ゲーム，インタラクティブ技術，教育…など様々な分野の業界関係者が参加する国際的なイベントで，毎年アジア各都市を巡って開催されています．

今年はオフラインとオンラインのハイブリッドという初形式で，12月14日から17日の間，東京国際フォーラムで開催されました．

コニカミノルタの展示

今年のSIGGRAPH Asiaでは，コニカミノルタはスポンサーとして企業ブースへの出展を行いました．コニカミノルタの画像IoTプラットフォームである「FORXAI(フォーサイ)」を体験できる2つのデモを展示しました．

FORXAIを体験できるAIカメラのデモ

FORXAIを手軽に体験できる開発キット「FORXAI Experience Kit（FEK）」の展示を行いました．会場内を撮影した映像をもとに，骨格検出，物体検出，属性認識の３種類のAIアルゴリズムを自動で切り替えるデモを披露しました．

デモ映像とFORXAI Experience Kit

FORXAI Experience Kit本体

リアルタイムで流れるデモ映像に，多くの方が興味を持って足を止めてくださいました．

技術に関する質問はもちろんのこと，「ゲームのキャラクターを自分に重ね併せてアバターに利用できるといいな」といった実際の活用シーンに関してなど，コニカミノルタの技術をベースに色々な未来が想像できるお話をさせていただきました．

LOVOTのデモ

コニカミノルタとGROOVE X社は，家庭用ロボットLOVOT（らぼっと）の表現力を拡張するため2020年春より協業を行っています．

今回の展示では，骨格検出と物体検出のAIを組み合わせて，LOVOTの前で好物のバナナを持って見せると喜ぶ，というデモを行いました．

LOVOTは大活躍！来場者を虜にしていました．

骨格検出と物体検出のAIを使って，LOVOTがもっと賢くなるようなAIの仕組みを，コニカミノルタは開発しています．

コニカミノルタはこんなこともやっているんだと、広く知っていただけると嬉しいですね．

注目論文紹介

SIGGRAPH Asia2021では，展示スペースとは別にtechnical paperの発表もあります．

特に興味深かった論文を2本ピックアップして紹介します．

Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation

音声信号を入力し，ターゲットの動画の口のうごきに合わせたアニメーションを生成する論文です．これまでの研究では，口の動きに合わせた頭の動きを含めた動きを表現できないという課題がありました．本研究では，対象者の頭の姿勢を含めた上半身の動きをモデル化して推測することで，口だけでなく頭の動きにあわせたスピーチ映像を生成することができます．また，音声の特徴量量を多様体に投影することで，多言語に対応できるようになります．プロジェクトページでは，別の音声データを大統領のスピーチ映像に違和感なくアテレコするといったデモ動画を見ることができます．

https://arxiv.org/abs/2109.10595

プロジェクトページ

FreeStyleGAN: Free-view Editable Portrait Rendering with the Camera Manifold

顔の画像を任意のアングルから取った画像を生成する論文です．敵対的生成ネットワーク(GAN)を使用して，元となる顔の画像に対して，他の視点から撮った画像を生成します．GANを用いた画像生成の研究は多くありますが，これまでの方法ではカメラの位置を明示的に指定して画像を生成することができませんでした．

この研究では，camera monifold と呼ばれる多様体空間に射影した潜在変数を用いて生成モデルを学習することで，自然なカメラ位置姿勢の視点変換を可能にしました．デモ動画では，カメラの位置がインタラクティブに変化させて画像が生成できることが確認できます．

https://arxiv.org/abs/2109.09378

おわりに

当記事では，コンピュータグラフィクスの祭典であるSIGGRAPH Asia2021への参加報告をさせていただきました．

展示ブースでは沢山の方々にお越しいただき，今後につながる様々なお話をさせていただきました．また，CG関連の研究発表では，画像生成する論文など視覚的に興味深い成果が得られる論文が多く，面白い内容でした．

今後も画像分野に関する学会・展示会に参加し，様々な情報交換をしていきたいと思います．

コニカミノルタは画像IoTプラットフォームFORXAIを通じて，お客様やパートナー様との共創を加速させ，技術・ソリューションの提供により人間社会の進化に貢献してまいります．

参考

[1] SIGGRAPH Asia 2021 公式サイト

[2] GROOVE X社，LOVOT

[3] Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation

[4] FreeStyleGAN: Free-view Editable Portrait Rendering with the Camera Manifold