Few-Shot Learning(少量データ学習)
はじめに
FORXAI Engineering Blogをご覧いただき，誠にありがとうございます。FORXAI事業統括部 AI技術開発部の田中です。私が所属するチームは主に外観検査に関連するAI技術の開発を行っています。
さて、AIモデルを作成する際に悩まされることの一つとして、現場データが十分になく学習データが不足することか挙げられるかと思います。
学習データが不足した状態でAIモデルを作成しても十分な効果が得られず、現場導入の障壁となることがあります。
本記事では、このように学習データが限られている条件下でうまく学習を進める方法(Few-shot learning)の最新論文、Understanding Cross-Domain Few-Shot Learning Based on Domain Similarity[2](以降、Jaehoon Oh et al. (2022))についてご紹介いたします。
Few-Shot Learningの手法紹介
Few-Shot Learningとひとえに言っても多くの手法が提案されています。例えば、以下の3つが挙げられます。
①複数の小データセットを事前学習することで、性能が出る学習条件・初期値を求める手法
②少量データを真の分布に近づけるようにデータ拡張・データ生成を行う手法
③アンラベルデータを活用して事前学習を行い、ターゲットドメインに適した初期値から学習を行う方法
Few-Shot learningについてより知りたい方はこちらのSurvey[1]がきれいにまとまっているかなと思いますので、ご覧いただければと思います。
ラベル付きデータとアンラベルデータ
今回紹介するJaehoon Oh et al. (2022)[2]は③に焦点を当ており、クラス分類を解く論文となっております。
我々が”検査”で扱う顧客データは工業系のデータであり、顧客データが公開データセットと乖離していることがしばしば見受けられます。検査に限らずとも、このように実データと公開データセットとの乖離を感じたことがある方々もいらっしゃるのではと思います。
このような背景の中、アンラベルデータであれど顧客データを活用することでデータの乖離を少なくする本論文に注目いたしました。
本論文のポイント
- 公開データセットとはドメインギャップが大きいデータを扱う場合に有効
- アンラベルデータを活用する
論文手法と結果
手法
Jaehoon Oh et al. (2022)[2]はアンラベルデータを活用すると記載しましたが、ターゲットとなるアンラベルデータを使うだけではターゲットドメインに特化した学習のみが行われ、例えばImageNetで学習したときのような汎用的な特徴量については忘れてしまう懸念があります。そこで本論文では、ImageNetとターゲットのアンラベルデータを並行して学習することで、汎用性学習とドメイン特化学習の2刀流で学習するアーキテクチャを採用しております。
こうすることによって、アンラベルデータへの過学習を抑制することを狙いとしております。
汎用性学習とドメイン特化学習のイメージ図
結果
Jaehoon Oh et al. (2022)[2]では、顧客データがImageNetのような自然画像とはかけ離れていることを想定し、BSCD-FSLデータセットを使用して評価を行っています。このデータセットはImageNetから見た目が乖離したデータセットとなっており、一般的に使用されるImageNet事前学習では性能が上がらないデータセットとなっております。CropDisease、EuroSAT、ISIC、ChestXの順でImageNetとの類似度が小さくなります。このようにImageNetから乖離したデータセットで評価を行っているため、顧客データがImageNetから乖離している場合でも本論文と同様の結果が期待できます。
検証に使用しているデータセット[3]
下の表は5way-5shot（学習データが各クラス5枚の5クラス分類）の結果となっております。ここで表の見方を簡単に説明させてください。
SL：ImageNetで事前学習
SL-SSL：アンラベルデータで事前学習
SL-MSL：ImageNetとアンラベルデータを並行で事前学習(本論文)
SLに比べ、SL-SSL、SL-MSLの精度が高いことから、アンラベルデータを活用することでImageNetのみで学習した条件下よりも性能が向上していることが確認できます。
また、ISIC、ChestXについては、アンラベルデータのみではなくImageNetも並行して学習する本手法の精度が最も高くなっていることが分かります。
これは、難しいタスクほどアンラベルデータのみでは獲得できる特徴が少なくImageNetの汎化学習が効いていると考察されております。
5way-5shotの結果[2]
おわりに
この度は、Few-Shot-Learningの最新論文であるJaehoon Oh et al. (2022)[2]について紹介させていただきました。学習データが限られる中でどのようにして、AIモデルを作成するかは今後も課題となってくるかと思います。
本記事が皆様にとって有益な情報であれば幸いです。
コニカミノルタは画像IoTプラットフォームFORXAIを通じて，お客様やパートナー様との共創を加速させ，技術・ソリューションの提供により人間社会の進化に貢献してまいります。
引用
[1]Yisheng Song et al. "A Comprehensive Survey of Few-shot Learning:Evolution, Applications, Challenges, and Opportunities." arXiv preprint arXiv:2205.06743(2022)
[2]Jaehoon Oh et al. "Understanding Cross-Domain Few-Shot Learning Based on Domain Similarity" arXiv preprint arXiv:2202.01339(2022)
[3]Yunhui Guo et al. "A Broader Study of Cross-Domain Few-Shot Learning" arXiv preprint arXiv:1912.07200(2020)
中途採用に関する情報については以下の採用情報ページをご覧ください。
