特色ある研究活動の成果
Research

カメラによる顔動画像計測による情動・感情モニタリングとその応用

カメラによる顔動画像計測による情動・感情モニタリングとその応用

図1. 顔画像からの心拍リアルタイム計測デモの様子

津村 徳道准教授

津村 徳道

Norimichi Tsumura

大学院工学研究院准教授

専門分野:応用光学、画像工学

平成7年 大阪大学大学院工学研究科博士後期課程応用物理学専攻修了 博士(工学)(大阪大学)取得
平成7年~ 千葉大学工学部情報工学科助手
<機能的画像処理に関する研究>
平成11年~12年 文部科学省在外研究員 米国・ロチェスター大学 客員助教授 (1年間)
<画像に基づく肌色素成分の分離技術に関する研究>
平成13年~16年 科学技術振興事業団 さきがけ研究21 「情報基盤と利用環境」領域 研究員 兼務(3年間)
<次世代電子商取引における質感工学に関する研究>
平成14年~ 千葉大学工学部情報画像工学科 助教授
<1年あたり3~5社との情報画像に関する共同研究実施>
平成19年~21年 国立歴史民俗博物館 客員准教授 兼務(2年間)
平成24年~25年 米国コロンビア大学 客員研究員
平成25年~ <情動工学、魅力工学に関する研究>
平成27年~28年 ImPACT合田プログラム・プロジェクト4
・チーム3 チームリーダー 兼務 (1年間)
平成29年~ 千葉大学 グローバルプロミネント研究基幹
次世代研究インキュベータ「質感イメージングの創生」
・推進責任者

どのような研究内容か?

 安価に市販されているRGBカメラを用いて、顔動画像を計測することで、実用的で正確な情動・感情の計測を実現しています。顔表面のヘモグロビン濃度の変化から心拍波形に相関の高い成分が得られることを利用しています。千葉大学の特色的な処理である顔画像に対する機能的な画像処理である色素成分分離を行い、カラー画像からヘモグロビン成分画像を取得しています。取得したヘモグロビン成分画像の時間変化を解析することにより、被写体の交感神経や副交感神経などの情報がえられます。これにより、被写体の情動・感情モニタリングを実現することができます。

何の役に立つ研究なのか?

 通常の安価なカメラを用いているため、スマホに搭載することで情動・感情情報を属性情報としたビッグデータを形成し利用することや、車載カメラによるドライバーの感情モニタリング等に応用可能です、下記のように様々な応用に展開可能であることが面白く、各方面より注目を集めています。

・情報技術への情動(感情)情報に導入(使用者の感情に応じた適応的SNS、相手の感情のわかるロボット)
・車載カメラ(ドライバーモニタ)により、ドライバーのストレス計測、集中度計測、感情計測と安全運転への誘導
・防犯カメラによる対象者の危険思想の予知 (東京オリンピックに向けて高度セキュリティー体制の構築)
・人間工学用の高品質なビッグデータの構築

 特に、医工学応用としては、下記が上げられます。
・乳幼児のモニタリング(突然死の防止。看護師の負担軽減など)
・自閉症スペクトログラム障害(ASD)の早期発見と療育指導
・認知症などの老人のモニタリング (バイタル連続計測、 認知症症状のモニタリング )
・非接触血圧計測、動脈硬化計測など

今後の計画は?

 人の感じる感情と生体反応の関係には、個人差が存在します。現在の研究の計測では、刺激を与える前と後の間の差分をもとに特徴抽出することにより個人差を低減することが期待されています。しかし、差分により十分個人差を低減できない場合も散見しています。そこで、今後は個人ごとのプロファイルを作成するシステムデザインを実施する予定です。

関連ウェブサイトへのリンク

非接触バイタルセンシングとその応用

成果を客観的に示す論文や新聞等での掲載の紹介

津村徳道、栗田幸樹、米沢拓、ストレスモニタリング用画像処理方法及びそのプログラム、 2015年07月30日、 特願2015-151245
Journal of Pacific Area Longevity Medical Society(2018)
ITE Transactions on Media Technology and Applications, Volume 6 Issue 1 Pages 131-137 (2018).
Artificial Life and Robotics, (2017)
Artificial Life and Robotics, (2017)

この研究の「強み」は?

 肌の光学モデルやカメラの撮影モデルなどイメージングシステムの物理モデルに基づいた解析を行っているため、撮影時の照明の条件の影響されない解析方法を実現しています。そのため、照明環境が大きく変化する運転中のドライバーの情動・感情にモニタリングなど様々な分野での実用が可能になります。

研究への意気込みは?

 すでに30社以上から、この技術を利用したいという問い合わせが来ています。多くの企業と連係し、社会に役立つ社会実装を行いたいと思います。

学生や若手研究者へのメッセージ

 本研究の基盤技術は、私が30歳前後の時に非常に努力して畑を耕して種を撒いた結果のものです。成果は1日にしてならず。20年もかかって大きく花開きつつあります。学生や若手研究者の皆様が努力して今撒いている種も将来花開くと思います。

その他

 共同研究など希望のある方は、遠慮なくご相談ください。
 また、推進研究者として、グローバルプロミネント研究基幹 も下記の通り実施していますので、ご参考にしてください。
【質感イメージングの創生】
~情動モニタリングを用いた良質な質感評価ビッグデータの集積と質感認知に基づいた高度質感イメージング技術の産業応用~
http://igpr.chiba-u.jp/research/incubator/page_14.html

図2. 顔画像からのヘモグロビン成分分離と顔面脈波の検出の流れ

図3. 自律神経と心拍変動の関係