瞳に映った画面の反射でスマホの持ち方を判定するシステム

スマホのアプリは、縦向きにも横向きにも対応しているものがあり、画面の自動回転機能は必要不可欠なものです。

しかしこの機能は、姿勢や持ち方を変えただけで意図せず回転してしまい邪魔くさく感じることも多いでしょう。

そこで慶応義塾大学理工学部に所属する杉浦裕太氏ら研究チームは、フロントカメラで瞬時にスマホの持ち方を判定するシステムを開発しました。

ユーザーの瞳に映った画面から持ち方を判断し、自動で補助機能を働かせることが可能です。

研究の詳細は、2022年4月27日付の『慶応義塾大学のプレスリリース』で発表されました。

スマホの「あと少し……」な部分

スマホに搭載されている機能は便利ですが、「あと少し足りない」と感じることもあるのではないでしょうか。

（画像＝スマホの補助機能に満足できない / Credit:Depositphotos、『ナゾロジー』より引用）

例えば、「画面の自動回転機能」をONにしていれば、画面を縦から横にしただけで瞬時に画面の向きを合わせてくれます。

しかし、寝転んでスマホを見るときなど、画面が勝手に回転してほしくない場合には、わざわざこの機能をOFFにしなければいけません。

また、「片側寄りのキーボード」は、片手でスマホ操作するときに助かりますが、持ち手を変えたり両手で持ったりするときに、いちいち設定を変更するのが面倒です。

では、このようなスマホの「あと少し」な部分は、いつか満たされるのでしょうか？

杉浦氏ら研究チームは、フロントカメラと機械学習を利用し、ユーザーを満足させる新しいシステムを開発しました。

新しいシステムでは、スマホのフロントカメラでユーザーの瞳を撮影し、そこからスマホの持ち方を推定できます。

スマホを扱うユーザーの瞳には「角膜反射像」が映るものです。

（画像＝瞳に映った画面から判定する新システム / Credit:杉浦裕太（慶応義塾大学）_スマートフォンの持ち方をフロントカメラで推定する手法を開発－角膜反射像を機械学習で分類－（2022）、『ナゾロジー』より引用）

この像を拡大すると、スマホ画面の光が映っているのが分かりますね。

さらに指の部分が影になっている様子も確認でき、これだけでスマホの持ち方がなんとなく分かります。

（画像＝瞳に映った画面のパターン / Credit:張翔（YouTube）_ReflecTouch – CHI2022 (Video Figure)（2022）、『ナゾロジー』より引用）

新しいシステムでは、この角膜反射像のパターンを機械学習させることで、6種類の持ち方を瞬時に判断できるようにしました。

このシステムを活用するなら、従来の補助機能の「あと少し」な部分を満たせます。

（画像＝6つの持ち方を瞬時に判定してくれる / Credit:杉浦裕太（慶応義塾大学）_スマートフォンの持ち方をフロントカメラで推定する手法を開発－角膜反射像を機械学習で分類－（2022）、『ナゾロジー』より引用）

例えば、スマホの持ち方を変えると、自動でキーボード設定が変更されます。

いちいち自分で設定を変える必要がないのです。

（画像＝キーボードの位置が自動変更される / Credit:張翔（YouTube）_ReflecTouch – CHI2022 (Video Figure)（2022）、『ナゾロジー』より引用）

さらに新しいシステムはフロントカメラだけを使用しているため、従来のセンサーで生じていた「意図しない作動」もなくなるでしょう。

（画像＝操作ボタンの位置も自動変更。 / Credit:張翔（YouTube）_ReflecTouch – CHI2022 (Video Figure)（2022）、『ナゾロジー』より引用）

ちなみに、参加者13名による実験では、85%の精度で持ち方を判別することができました。

今のところ、新しいシステムでも多少の誤認識・誤作動は生じるようですが、今後の改良に期待できますね。

研究チームは、アルゴリズムを改善したり、他の情報を併用したりすることで、判定精度をさらに高めようとしています。

参考文献

スマートフォンの持ち方をフロントカメラで推定する手法を開発－角膜反射像を機械学習で分類－

ReflecTouch: Detecting Grasp Posture of Smartphone Using Corneal Reflection Images