EarHover：ヒアラブルデバイスにおける音漏れ信号を用いた空中ジェスチャ認識

Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology

Abstract

私たちは、ヒアラブルデバイス向けの空中ジェスチャ入力を可能にする革新的なシステム「EarHover」を提案します。空中ジェスチャ入力は、デバイスに触れる必要がないため、手やデバイスを清潔に保つことができます。しかし、これまでのヒアラブルデバイスにおける空中ジェスチャ入力は、カメラや赤外線センサを追加する手法に限られていました。 本研究では、ヒアラブルデバイス特有の「音漏れ」現象に着目し、スピーカと外部マイクロホンという、デバイスと高い親和性を持つ構成で、空中ジェスチャ認識を実現しました。音漏れによってデバイスの外部に漏れた信号は、外部マイクロホンで計測され、手の動きの速度や形状によって生じる反射特性の違いを検出できます。 評価実験では、27種類のジェスチャの中から、信号の識別性とユーザ受容性の観点から、EarHoverに適した7種類のジェスチャを選定しました。さらに、現実世界の応用シナリオを想定し、2種類のプロトタイプデバイス（耳内装着型／開放型）におけるジェスチャ検出と分類性能を網羅的に評価しました。

Citation

Shunta Suzuki, Takashi Amesaka, Hiroki Watanabe, Buntarou Shizuki, and Yuta Sugiura. 2024. EarHover: Mid-Air Gesture Recognition for Hearables Using Sound Leakage Signals. In Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology (UIST ‘24). Association for Computing Machinery, New York, NY, USA, Article 129, 1–13.