第4回 Motivelの判別精度

Motivelは、簡単なだけでなく、高い判別精度も有しています。

判別精度

Motivelは、音声解析エンジンとして「MIMOSYS(*1)」を使用しています。MIMOSYSは、声から感情パラメータを抽出し、それらパラメータを合成して、心の状態（メンタルアクティビティ）を計測しています。

MIMOSYSが計算するメンタルアクティビティは、心の状態が不調である人を、高い精度で捕捉することができます（感度100％）。他方、心の状態が好調である人は、4割弱の人が不調と判別されます（特異度61%）(*2)。この判別精度に関する計算ですが、例えば、ユーザーが100人の場合には、下表の通り計算されます。

	状態：不調	状態：好調	合計
判定（⇒不調）	67 (a)	13 (b)	80 (a)+(b)
判定（⇒好調）	0 (c)	20 (d)	20 (c)+(d)
合計	67 (a)+(c)	33 (b)+(d)	100

感度：　(a) / ((a)+(c))　⇒　67 ÷ 67 = 1.0 (100%)
特異度：　(d)　/　((b)+(d)) ⇒ 20 / 33 = 0.61 (61%)

実務で求められる判別精度は？

上記の判別精度を前提に、Motivelが実務で使えるのかを考えます。感度は１００％であるため、不調な人はほぼ間違いなく捕捉できると考えられます(*3)。一方で、４割弱の確率で、好調な人が誤って不調と判別されるリスクは残ります。

もっとも、このリスクは、1回の計測における誤判別の確率に過ぎません。マインドヘルス計測システムでは、毎日簡単に計測できるという利点を生かし、計測回数を増やし、かつ、計測結果のトレンドを見ることで、誤判別リスクを小さくしています。また、レーティング制度等のリスク管理手法を活用することでも、誤判別リスクの削減が可能です。

実務で求められる判別精度に明確な基準を示すことは難しいですが、判別精度の妥当性を判断するポイントとして、①リスクをコントロールできること、②業務設計ができること、が上げられます。このポイントに照らすと、Motivelの判別精度は、リスクをコントロールして業務設計ができることに鑑み、妥当な水準にあると考えられます。

*1 こころとカラダの状態を可視化するテクノロジーカンパニーPST株式会社が開発したMind Monitoring Systemを意味します。
*2 Tokuno et al (2017), “CASE STUDIES OF UTILIZATION OF THE MIND MONITORING SYSTEM (MIMOSYS) USING VOICE AND ITS FUTURE PROSPECTS”
*3 「ほぼ」と表現したのは、計測条件の差異、個人差、判別ロジックの経年劣化等、精度に影響を与える要因を完全に払拭することができないためです。
*4 AUCは0.81になります。実務で使用する際に妥当な水準にあると考えられます。