～人手作業の分析により生産性の向上に貢献～
NEC は工場での組み立て等の人手による作業において、AIを活用した映像解析により一般的なカメラで撮影した数回分のお手本映像だけで学習モデルを作成し、手指の動きを捉えて数十種類の細かい作業を高精度に識別することで、全工程の流れを見える化する技術を開発しました。なお、作業で用いられる部品や道具を事前登録することなく、作業を識別できる技術の開発は国内初です(注)。
NECは今後、本技術について製造や建設、物流、小売などの現場作業で検証を進め、2022年度中の事業化を目指します。
作業の識別により、規定値との違いを分析可能
近年、ものづくり現場では機械設備の導入により自動化が進められている一方で、人手による作業も多く残されており、生産性の向上に課題がありました。また従来、手指を使う細かい作業をAIで識別して分析するためには、各工程で用いられる部品や道具を事前に登録した大量の教師データが必要でした。本技術により人手作業の分析を容易にし、生産性の向上に貢献します。
技術の特長
- 数回分のお手本映像の学習だけで、数十種類の細かい作業を高精度に識別
これまで、肩や肘、手首などの人体の大きな動きを捉えることで、作業内容を分析する技術は開発されていましたが、手先の細かな動きを伴う作業には対応できていませんでした。また、様々な部品や道具を用いた作業を識別するためには、部品や道具の画像を用意して、事前に登録する必要がありました。
今回開発した技術は、各指の関節と指先(両手合計42箇所)の動きを基にして捉えた手指形状の特徴量と指周辺の画像特徴量との共起関係(ある手指の形と、特定の部品や道具が同時に現れる状況)を学習する方式のため、個別の部品や道具を登録して学習する必要がありません。
これにより本技術では、数回分のお手本映像だけで学習モデルを作成し、「モジュラージャックを取る」「マイクをはめ込む」や「電動ドライバーでネジを締める」などの数十種類の細かい作業を高精度に識別することが可能になります。
手指形状と物体(部品や道具)との共起関係の学習
- 作業の識別により生産性の向上に貢献
今回開発した技術では、細かい作業の識別と、個々の作業にかかる時間の測定が可能です。これにより、作業の手順違い/手順漏れの発見や、規定の作業時間と実作業にかかる時間の差の分析をすることが可能となり、生産性の向上に貢献します。
技術検証
本技術をICT機器の製造を行っているNECプラットフォームズ株式会社の白石事業所で撮影した製品組み立ての実験映像に適用した結果、各作業時間を高精度に実測し、予め規定した時間との差異を把握することができました。これにより、部品置き場の再調整、組み立て方の指導、手順の再考などの対策を講じて生産性の向上を図ることが可能になります。
複数の部品を用いる作業での規定時間と実測時間の比較例
(橙色：規定時間より大幅に時間が超過した工程)
以上
(注) NEC調べ。
本件の参照先：https://jpn.nec.com/press/202206/20220620_02.html