声から睡眠リスクを検知する音声解析エンジンの開発
仮説の設定
- 人は心拍数が低下すると眠気を感じる（眠いという状態に陥る）のではないか。
- 発話音声から心拍数の低下を予測できれば、眠いという状態を予測できるのではないか。
仮説１の検証
人は心拍数が低下すると眠気を感じる（眠いという状態に陥る）のではないか。
- 夜間の眠たくなる時間にかけて、心拍数が低下することが分かる。
- 心拍数の低下は一過性のものでなく、複数日に亘って規則性がある。
⇒ 仮説1は正しいと考えられる。
仮説２の検証
発話音声から心拍数の低下を予測できれば、眠いという状態を予測できるのではないか。
そもそも「発話音声と心拍数に関係」はあるか？
STEP
1
STEP1の検証(1/3）- 心拍数と周波数の関係
- 各被験者の心拍数低下時（値＜平均ーσ）の発話音声データの周波数を抽出し、非心拍数低下時の発話音声データの周波数と比較した。
⇒ 両者の周波数の特徴に差異が確認された。発話音声と心拍数に関係はあると考えられる。（今の声で、今の心拍数低下（＝眠たい状態）を判別するモデルができる。）
心拍数低下の判定基準：各被験者において、平均値から1σ超低下した場合に心拍数低下と判定した。
STEP1の検証(2/3）- 心拍数と周波数の関係
- 被説明変数に心拍数低下を1、非心拍数低下を0として、説明変数に周波数を用いてロジスティック回帰を実施した。
- AUC 0.72となった。
STEP1の検証(3/3）- 消防署職員Xのケース
- ウェアラブルのデータから得られたモデル【1】に消防署職員の声を投入。
- 交替勤務を行う消防署職員においても、仮眠前に心拍数の低下が見られる。
今の声で「将来の心拍数低下」を予測できるか。
STEP
2
STEP2の検証(1/3）
STEP2の検証(2/3）
- 被説明変数に心拍数低下を1、非心拍数低下を0を採用し、説明変数に周波数12区分を用いて、二項ロジスティック回帰を実施。
- AUC 約0.80であった。
⇒ 将来の心拍数低下を高い精度で予測できそう。
STEP2の検証(3/3）
⇒ 仮説2は正しいと考えられる。
まとめ
- 検証結果
- 人は心拍数が低下すると眠気を感じる（眠いという状態に陥る）ことが観測できた。
- 発話音声（周波数）と心拍数の低下には、関係性のあることが確認できた。
- 現在時点の発話音声と将来の心拍数低下には関係性のあることが確認できた。
- 総括
- 仮説が正しいことが示された。
- 現在時点の発話音声から、将来の眠気を感じる（眠いという状態に陥る）ことを予測できることが分かった。
- 現在の開発状況
- Care Cubeに実装し、実証実験を行っている（2023年11月6日～12月4日）。アルコールチェック、ストレス度のチェック、睡眠リスクの検知を同時に行い、計測結果をクラウド上に保存することで、安全運転管理者の業務効率化を支援する。
- 更なる予測精度の向上を図るため、ノイズ処理の強化、AIモデルの開発を進めている。