新規事業での品質保証評価について
目次[非表示]
- 1.はじめに
- 2.エッジデバイス（センサーボックス）の評価
- 3.行動検知のアルゴリズム評価
- 4.AI分析にFORXAIを使う
- 5.さいごに
はじめに
こんにちは、FORXAI開発センター戦略推進部の北川です、よろしくお願いします。
今回「新規事業の品質評価での苦労話」というお題で記事を執筆しました。
「新規事業」と聞くと開発者が新しい仕組みやモノを構築するというイメージがありますが、その品質を確認する評価者も、その新しい仕組みの機能や性能、市場で問題が起こらないレベルの品質を担保できるのかを開発者と同じように試行錯誤しながら作っていく必要があります。
ここでは、私が携わった「HitomeQ ケアサポート」という介護現場で使われるシステムの評価を、あれこれと模索しながら評価していた頃のお話をいたします。
HitomeQ ケアサポートについて
HitomeQ ケアサポートは、部屋の天井に取り付けた行動分析センサーが、利用者様の動きを分析し、スマートフォンに映像で通知します。ケアコールや利用者様の行動起点による通知で施設スタッフの訪室負担を削減できるだけでなく、利用者様のプライバシーを守る仕組みも提供しています。
また、手元のスマートフォンから介護記録の入力や施設スタッフ間の情報連携が可能となり、バックヤード業務の負担も削減することができます。
システムの全てが同時開発だったため、品質評価グループ内では３つのカテゴリーに担当を分けて各々評価を行なっていました。
私が担当したのは１のセンサーボックスのハード評価、これを量産化した後は２のアルゴリズム評価に合流しました。
- エッジデバイスとなるセンサーボックスのハード評価
- センサーボックスが行う行動検知のアルゴリズムの評価
- システムの総合評価
※例えばセンサーボックスが検知した内容が、スマートフォンやスタッフルームに設置されたパソコンに正しく通知できるかなど。
エッジデバイス（センサーボックス）の評価
まだHitomeQという名前もない状態だったころ、開発しながら作る感じで、製品仕様も品質仕様も書面どころか内容も詰められておらず、外装にはどのような材質のモノを使われるのか、中にはどのようなセンサーを積むのかなど、製品全体の概要を把握するために１つ１つハードデバイスの開発担当者に問い合わせを行いました。
製品概要や使用環境が判ったところで、信頼性試験項目の抽出をすることができました。昔、カメラ事業部に在籍していて市場展開を数機種担当していた経験が役立ちました。
ただ、センサーボックスは天井に穴をあけて取り付ける仕様であり、天井裏の温度環境が冬場や夏場でどうなるのかなど知見が無かったため、工務店のホームページなどを検索しリフォームで屋根裏の補修を行ったときの記事などを参考にしながら試験条件を構築しました。
試験条件が決まったところで、開発者に開発要件や開発検証でどのような手法や手順で確認を行ったかをインタビューして少しずつ評価チェックリストを作成しました。
そうして完成した評価チェックリストは評価前に開発メンバー含めて試験dr（design review）として関係者全員に確認いただき、試験内容と判定基準について全員の合意を得た上で評価開始です。
評価条件や項目が決まっても、肝心の試作品が無ければ評価は行えません。
この試作品を手に入れるのも結構大変で、評価開始日程までに開発関係者の方と調整をして作って貰っていました。
最終的には同じ製品を市場に出すために動いているのですが、個別にはやるべきことをたくさん抱えているため、周囲の方々との連携なしでは自分の仕事を遂行するのは非常に困難です。この時も本当に周囲の人には助けていただきました。
評価ができるようになってもスムーズにことは運びません。
製品化日程で決められた日程内に不具合改修が間に合わなかったり、評価途中にメイン基板が変更になり、それまでの評価全てがやり直しになることもありました。
計画通りには進まず、追加評価や一部の機能だけを確認するなど、その時々の状況にあった対応が必要でしたが、最終的には全ての人の頑張りで何とか予定から大きく外れることなく量産化することができました。
行動検知のアルゴリズム評価
センサーボックスを何とか無事に量産化することができたところで、上長の許可を取ってアルゴリズムの評価に合流しました。
この評価を行なうために社内に評価用に、当時POC（Proof of Concept）を実施していた施設の部屋の床の色や壁の色をそのまま模倣した部屋を作って貰いました。
ただ、施設のように天井に穴をあけてセンサーボックスを取り付けることができなかったので、レールを使って設置するなど、試験項目だけでなく環境も試行錯誤しながらの構築でした。
そして出来上がった部屋の中で、施設入居者の動きを模擬した、寝る、起きる、転倒するなどの基本的な動きとバリエーションを入れて2000項目程度をチェックリストとして作成しました。
※チェックリストでは、１分あたり○歩ぐらいの速さで室内を歩く、ベッドに入る時は一度ベッドに座ってから寝る・・など細かい動作も決めています。
評価は、チェックリスト通りの動作を行ったときに、スマートフォンへ正しいタイミングで通知できているか、通知された内容は正しいか、検知した時のエビデンスの保管は設定通りに出来ているのかなど、検知したかどうかだけでなくその後の振る舞いも想定通りにできているかも含めての確認になります。
開発当初は、品質評価の結果だけでなく、POCとしてHitomeQ ケアサポートを実際に設置した施設での振る舞いからも改修ポイントがあり、毎週のように新しいFWが作られ、常に評価を行なっているという状態が続いていましたが、現在は施設からのエスカレーションや開発で見つけた改良ポイントなど、メンテナンスリリースとして決まったタイミングで提供されるFW評価に変わってきています。
アルゴリズム検知の確からしさの見える化
アルゴリズムの評価の項目構築の仕方や結果のまとめ方にも慣れてきた頃に、同じFWで各施設に展開していても誤検知が多いとクレームが来るところもあれば、特に何も問題ないところもあり、現在の評価で品質がちゃんと担保できているのか？というところが課題になってきました。
他社比較するにも世の中には同じような製品はどこにもありません。
一緒に評価を担当していたメンバーと日々議論する中で、設置施設で記録されているインシデントデータ類でアルゴリズムの確からしさを見ることが出来るのではないか？と、まずは現状把握することを思いつきました。
もともとこのシステムでは、入居者の方がベッドから起床や離床のときには静止画（設定によって映像にも変更可能）、転倒されたときには転倒前後１分間の映像を保存する仕組みになっています。この検知によって取得された映像データを使ってアルゴリズムの弱点をあぶりだそうという考えです。
また、実際の入居者の方の動き方を見ることで評価用のチェックリストへ反映させる目的もありました。
ただ、このアイデアを実行するまでに結構時間がかかりました。
当初は、グループ内で人員に余裕がないと一蹴されましたが、あきらめずに半年ぐらい提案を続けたところで了解を得ることができ、更に施設のFWをバージョンアップした日の前後データで変化の有無も確認してみればどうか？というにアドバイスも貰うことができました。
タイミングによっては状況も変わることがあるので、１回NGが出たからと諦めずに再提案するというのも必要ですね。
契約などの課題も解決し、インシデントデータ、映像、静止画データから検知した時の入居者の姿勢や部屋の位置などからどのような位置やシーンでアルゴリズムは誤検知してしまうのかのプロットを始めてみました。
当たり前ですが、これらのデータは個人情報が多く含まれているので、限定した人だけが立ち入りできるセキュリティルームを設け、徹底した情報管理の中で行っていました。
実際始めてみると思ったよりも処理しなくてはいけない手順や内容が多く、片手間で行える分量ではなかったため、またまた上長に依頼してデータ分析を行うためのチームを作って貰いました。当初アルゴリズムの苦手シーン抽出が目的でしたが、チーム作成してからは他にも分析できそうな項目があるかも知れないと、入居者のプロフィールなども分析する項目に加えました。
例えば、入居者の方の情報は個人情報にあたるので施設から提示いただけないので、部屋に設置されているベッドが一般的なシングルベッドのサイズなのでこれをモノサシとして、ベッド内で寝ている状態の映像で身長を推定、室内の歩く距離と動画アプリのカウンターから歩く速さを概算するなど工夫しながらデータを蓄積していきました。
たくさんの映像を見ている中で、室内を特に目的もなくぶらぶらと歩くことが多い人や、立ち上がりのときにバランスを崩しやすい人など特徴的な動きをする人、なんだか危なっかしい歩き方をする人だなと思っていたら数日後には実際に転倒してしまった・・というような入居者の行動や動きの変化も見つけることができることが判ってきました。
転倒はしていないけれども入居者の行動を把握することで、施設へのインプット情報に使えそうだということで、実際に施設の方に「この方の動きは将来的に転倒する可能性があります」というような資料にしてお見せし、喜んでいただくことができました。
AI分析にFORXAIを使う
映像データからされに多くのデータ分析が必要とされてきましたが、人の手や目で分析するにはバラツキや処理できるデータ量に限界があります。
施設へのインプット情報として使い始めた頃には、将来的にはAI自動化解析が必要とされていました。
そこで登場するのがFORXAIになります。
当初はセンサーボックスの検知を助けるための仕組みで導入され、映像分析に使えるようになるまでには多少時間はかかりましたが、現在では人検知や関節・頭部推定（骨格検知）を使ってデータを分析し、分析したデータは入居者の行動ではADL状態を定量的に計測・評価やリハビリ効果の可視化、スタッフの行動では介護フロー改善に役立っています。
※HitomeQ ケアサポートでも使われているFORXAI Imaging AIの詳細はこちらをご覧ください。
さいごに
いろいろと試行錯誤しながら行っていた品質評価ですが、構築した評価手法が十分なのか、システム拡張に伴う変更の影響範囲など色々と試行錯誤は続いています。
試行錯誤というだけに失敗することも多いですが、失敗＝ダメということではなくて、この方法ではうまくいかなかったから次の手を考えようという消し込み作業を行っている認識で、まずは何かをやってみるということが重要です。
現在HitomeQ システムは「介護のICT化」として施設で使われるだけでなく、今後介護の担い手となるICT介護人財を育成する目的で学校教材としても採用されています。AI技術を製品に取り入れたというだけでなく、介護の世界全体を変えようとしています。
いまAI技術を学ばれている方には、AI技術が製品に取り入れるということが最終目的ではなく、その製品がどこでどのようなことに使われていくのかなぁ？ということも心の片隅で想像しながら作って貰えればうれしいです。
コニカミノルタは画像IoTプラットフォームFORXAIを通じて、お客様やパートナー様との共創を加速させ、技術・ソリューションの提供により人間社会の進化に貢献してまいります。
