瞳に映った画面の反射でスマホの持ち方を判定するシステム

『ナゾロジー』より

スマホのアプリは、縦向きにも横向きにも対応しているものがあり、画面の自動回転機能は必要不可欠なものです。

しかしこの機能は、姿勢や持ち方を変えただけで意図せず回転してしまい邪魔くさく感じることも多いでしょう。

そこで慶応義塾大学理工学部に所属する杉浦裕太氏ら研究チームは、フロントカメラで瞬時にスマホの持ち方を判定するシステムを開発しました。

ユーザーの瞳に映った画面から持ち方を判断し、自動で補助機能を働かせることが可能です。

研究の詳細は、2022年4月27日付の『慶応義塾大学のプレスリリース』で発表されました。

目次
スマホの「あと少し……」な部分
 瞳に映ったスマホ画面で持ち方を推定する便利システム

スマホの「あと少し……」な部分

スマホに搭載されている機能は便利ですが、「あと少し足りない」と感じることもあるのではないでしょうか。

（画像＝スマホの補助機能に満足できない / Credit:Depositphotos、『ナゾロジー』より引用）

例えば、「画面の自動回転機能」をONにしていれば、画面を縦から横にしただけで瞬時に画面の向きを合わせてくれます。

しかし、寝転んでスマホを見るときなど、画面が勝手に回転してほしくない場合には、わざわざこの機能をOFFにしなければいけません。

また、「片側寄りのキーボード」は、片手でスマホ操作するときに助かりますが、持ち手を変えたり両手で持ったりするときに、いちいち設定を変更するのが面倒です。

では、このようなスマホの「あと少し」な部分は、いつか満たされるのでしょうか？

杉浦氏ら研究チームは、フロントカメラと機械学習を利用し、ユーザーを満足させる新しいシステムを開発しました。

瞳に映ったスマホ画面で持ち方を推定する便利システム

新しいシステムでは、スマホのフロントカメラでユーザーの瞳を撮影し、そこからスマホの持ち方を推定できます。

スマホを扱うユーザーの瞳には「角膜反射像」が映るものです。

（画像＝瞳に映った画面から判定する新システム / Credit:杉浦裕太（慶応義塾大学）_スマートフォンの持ち方をフロントカメラで推定する手法を開発－角膜反射像を機械学習で分類－（2022）、『ナゾロジー』より引用）

この像を拡大すると、スマホ画面の光が映っているのが分かりますね。

さらに指の部分が影になっている様子も確認でき、これだけでスマホの持ち方がなんとなく分かります。

（画像＝瞳に映った画面のパターン / Credit:張翔（YouTube）_ReflecTouch – CHI2022 (Video Figure)（2022）、『ナゾロジー』より引用）

新しいシステムでは、この角膜反射像のパターンを機械学習させることで、6種類の持ち方を瞬時に判断できるようにしました。

このシステムを活用するなら、従来の補助機能の「あと少し」な部分を満たせます。

（画像＝6つの持ち方を瞬時に判定してくれる / Credit:杉浦裕太（慶応義塾大学）_スマートフォンの持ち方をフロントカメラで推定する手法を開発－角膜反射像を機械学習で分類－（2022）、『ナゾロジー』より引用）

例えば、スマホの持ち方を変えると、自動でキーボード設定が変更されます。

いちいち自分で設定を変える必要がないのです。

（画像＝キーボードの位置が自動変更される / Credit:張翔（YouTube）_ReflecTouch – CHI2022 (Video Figure)（2022）、『ナゾロジー』より引用）

さらに新しいシステムはフロントカメラだけを使用しているため、従来のセンサーで生じていた「意図しない作動」もなくなるでしょう。

（画像＝操作ボタンの位置も自動変更。 / Credit:張翔（YouTube）_ReflecTouch – CHI2022 (Video Figure)（2022）、『ナゾロジー』より引用）

ちなみに、参加者13名による実験では、85%の精度で持ち方を判別することができました。

今のところ、新しいシステムでも多少の誤認識・誤作動は生じるようですが、今後の改良に期待できますね。

研究チームは、アルゴリズムを改善したり、他の情報を併用したりすることで、判定精度をさらに高めようとしています。

参考文献

スマートフォンの持ち方をフロントカメラで推定する手法を開発－角膜反射像を機械学習で分類－

ReflecTouch: Detecting Grasp Posture of Smartphone Using Corneal Reflection Images

提供元・ナゾロジー

瞳に映った画面の反射でスマホの持ち方を判定するシステム

スマホの「あと少し……」な部分

瞳に映ったスマホ画面で持ち方を推定する便利システム

堀江貴文氏、中居正広の騒動をあの人物に直撃 年明けの“動き”次第では「フジがヤバイ」「もう崩壊」

小泉孝太郎、人見知りは「治す必要ないと思う」 その理由が“金言”だと反響呼ぶ

日テレ、大谷翔平の邸宅の外観の映像を放送…大谷夫妻の犯罪被害のリスク上昇

『ゴゴスマ』中継に映りこんだのは… さんま、マツコがとった「礼儀正しい行動」に反響相次ぐ

巨人・田中将大、江川卓氏は「直球のスピードが戻ることはない」と指摘 一方で、最適な投球スタイルは…

強盗や空き巣のターゲットになってるかも… 「これがある家はとても危険な状態」防災士が注意喚起

「あ、これ付き合うな…」と一部のファンが予感した瞬間 森本慎太郎＆森川葵の熱愛報道が話題に

驚いた！水原一平容疑者の阿呆ぶり：アメリカでは今も大谷選手へ厳しい目線

なぜ大谷選手は大失敗をしたのか：甘やかしたマスコミの重大な責任

ハリセンボンは「仲悪いんですか？」と聞かれ… 近藤春菜の“返答”にスタジオ称賛

甲斐拓也の人的補償は「小林誠司ではない」 高橋尚成氏が予想する獲得選手とは

止まらない一帯一路を進める中国へのテロ 今後さらに激化する恐れ

大谷選手への心配：野球界からの永久追放は避けられるか？

有村架純、『あまちゃん』台本の転売騒動 “耳を疑う言い訳”に「これはヤバイ」「ダサすぎて…」の声

箕輪厚介氏「叩くべきは吉沢亮さんじゃなくて…」騒動に言及 「冷静に考えてヤバくない？」

正月明けに「よく混ざってるゴミ」公開 意外な事実に「そうなの！？」「…だと思ってた」驚きの声続々

「運転免許を取らない」若者が急増… 20代が明かした”意外すぎる理由”

甲斐拓也FA移籍に伴う巨人の人的補償選手は誰に？ 田尾安志氏が予想「大学の後輩で…」

2024年に中日ドラゴンズが巨人に勝てなかった理由 片岡篤史氏が告白「良いところで…」

高速道路に引かれた「緑色の線」、正しい使い方を知ってる？ 絶対に活用すべき理由があり…

堀江貴文氏、中居正広の騒動をあの人物に直撃 年明けの“動き”次第では「フジがヤバイ」「もう崩壊」

恐ろしいほど老ける“意外な朝食”、体にいいと思ってたのに… 皮膚科医の解説に「ほんとに大事」「変えなくては」

NHKに旧ジャニ・タレントが1年ぶり出演 報道の2文字にファン怒り「何様だよ」「求めてない」

『NHK紅白』出場の米津玄師「1日の睡眠時間」に驚き… 一般人ではほぼ難しい

文春砲が大胆な雅子さま批判するも広告では地味な扱い

山里亮太、スタジオで2人が泣き出す異例の事態に冷静対応 「こういう状況なのに…」

大晦日に男が仕掛けた悪ふざけで17歳女性が死亡 臓器提供され6人の患者を救う

強盗や空き巣のターゲットになってるかも… 「これがある家はとても危険な状態」防災士が注意喚起

驚いた！水原一平容疑者の阿呆ぶり：アメリカでは今も大谷選手へ厳しい目線

日テレ、大谷翔平の邸宅の外観の映像を放送…大谷夫妻の犯罪被害のリスク上昇

『ゴゴスマ』中継に映りこんだのは… さんま、マツコがとった「礼儀正しい行動」に反響相次ぐ

小泉孝太郎、人見知りは「治す必要ないと思う」 その理由が“金言”だと反響呼ぶ

「運転免許を取らない」若者が急増… 20代が明かした”意外すぎる理由”

なぜ大谷選手は大失敗をしたのか：甘やかしたマスコミの重大な責任

年末のイオンモール、喧嘩する家族や民度低い客で「カオス状態」説を検証

「目が白くなって8日目に皆死んだ」致死率100%のコロナウイルス株の研究を中国が発表！

ハリセンボンは「仲悪いんですか？」と聞かれ… 近藤春菜の“返答”にスタジオ称賛

有村架純、『あまちゃん』台本の転売騒動 “耳を疑う言い訳”に「これはヤバイ」「ダサすぎて…」の声

エアコンのフィルター汚れが「身近なもの」でごっそり… 掃除機よりとれて、まさに神ワザ

約3割、外食したときの“あること”が苦手 森泉は「やめない？」「言いにくいし…」

堀江貴文氏、中居正広の騒動をあの人物に直撃 年明けの“動き”次第では「フジがヤバイ」「もう崩壊」

“アレのやりすぎ”が認知症をグッと進行させる？ 日常に潜むリスクに「心配」「気を付けなきゃ」の声

ゆうちゃみ、“まさかの風呂事情”を明かし女性陣驚愕 「洗っちゃダメ」と指摘され…

コンビニ店員が会計時「やめてほしい」と思ってること “アレ”を直に置く行為に「気持ち悪い」と悲鳴

『NHK紅白』出場の米津玄師「1日の睡眠時間」に驚き… 一般人ではほぼ難しい

NHKに旧ジャニ・タレントが1年ぶり出演 報道の2文字にファン怒り「何様だよ」「求めてない」

水筒を洗う時、絶対してはいけないこと 実は4割の人が「知らなかった」と明らかに…

恐ろしいほど老ける“意外な朝食”、体にいいと思ってたのに… 皮膚科医の解説に「ほんとに大事」「変えなくては」

「最近離婚したんですよ」人気作家がサラッと告白 『あさイチ』で語った“前向きな言葉”に反響

ハリセンボンは「仲悪いんですか？」と聞かれ… 近藤春菜の“返答”にスタジオ称賛

デヴィ夫人、「あるもの」を失うと人は老ける… すでに約4割の大人が見失っていた

強盗や空き巣のターゲットになってるかも… 「これがある家はとても危険な状態」防災士が注意喚起

田中将大の楽天“退団理由”に岩本勉氏が厳しい見解 「それは給料下がるって」

襲撃事件で亡くした娘の彼氏に母親が涙で感謝 「娘を守ろうとした勇敢な少年」

青服・白バイクで道路を見守る男性、その正体にゾッとした 「犯罪では？」と怒りの声続出

千原せいじ、テレビで報道しない事件に怒り 「なんでマスコミは騒がへんの？」「大問題やで」

小倉智昭さん訃報記事の“見出し”に不快感あらわにする人が続々 「悲しい」「負けたみたいに言わないで」

ジェルボール洗剤、消費者庁が警鐘…愛用者急増で事故多発、急性呼吸不全で入院も

パイプ掃除、放置しすぎると「ゾッとする事態」招くことも… 使い方を“勘違いしてる人”が続出

巨人入団報道の田中将大に、高木豊氏がメッセージ 「ちょっと言っとくけど…」

堀江貴文氏、中居正広の騒動をあの人物に直撃　年明けの“動き”次第では「フジがヤバイ」「もう崩壊」

小泉孝太郎、人見知りは「治す必要ないと思う」　その理由が“金言”だと反響呼ぶ

『ゴゴスマ』中継に映りこんだのは…　さんま、マツコがとった「礼儀正しい行動」に反響相次ぐ

巨人・田中将大、江川卓氏は「直球のスピードが戻ることはない」と指摘　一方で、最適な投球スタイルは…

強盗や空き巣のターゲットになってるかも…　「これがある家はとても危険な状態」防災士が注意喚起

「あ、これ付き合うな…」と一部のファンが予感した瞬間　森本慎太郎＆森川葵の熱愛報道が話題に

ハリセンボンは「仲悪いんですか？」と聞かれ…　近藤春菜の“返答”にスタジオ称賛

甲斐拓也の人的補償は「小林誠司ではない」　高橋尚成氏が予想する獲得選手とは

止まらない一帯一路を進める中国へのテロ　今後さらに激化する恐れ

有村架純、『あまちゃん』台本の転売騒動　“耳を疑う言い訳”に「これはヤバイ」「ダサすぎて…」の声

箕輪厚介氏「叩くべきは吉沢亮さんじゃなくて…」騒動に言及　「冷静に考えてヤバくない？」

正月明けに「よく混ざってるゴミ」公開　意外な事実に「そうなの！？」「…だと思ってた」驚きの声続々

「運転免許を取らない」若者が急増…　20代が明かした”意外すぎる理由”

甲斐拓也FA移籍に伴う巨人の人的補償選手は誰に？　田尾安志氏が予想「大学の後輩で…」

2024年に中日ドラゴンズが巨人に勝てなかった理由　片岡篤史氏が告白「良いところで…」

高速道路に引かれた「緑色の線」、正しい使い方を知ってる？　絶対に活用すべき理由があり…

堀江貴文氏、中居正広の騒動をあの人物に直撃　年明けの“動き”次第では「フジがヤバイ」「もう崩壊」

恐ろしいほど老ける“意外な朝食”、体にいいと思ってたのに…　皮膚科医の解説に「ほんとに大事」「変えなくては」

NHKに旧ジャニ・タレントが1年ぶり出演　報道の2文字にファン怒り「何様だよ」「求めてない」

『NHK紅白』出場の米津玄師「1日の睡眠時間」に驚き…　一般人ではほぼ難しい

山里亮太、スタジオで2人が泣き出す異例の事態に冷静対応　「こういう状況なのに…」

大晦日に男が仕掛けた悪ふざけで17歳女性が死亡　臓器提供され6人の患者を救う

強盗や空き巣のターゲットになってるかも…　「これがある家はとても危険な状態」防災士が注意喚起

『ゴゴスマ』中継に映りこんだのは…　さんま、マツコがとった「礼儀正しい行動」に反響相次ぐ

小泉孝太郎、人見知りは「治す必要ないと思う」　その理由が“金言”だと反響呼ぶ

「運転免許を取らない」若者が急増…　20代が明かした”意外すぎる理由”

ハリセンボンは「仲悪いんですか？」と聞かれ…　近藤春菜の“返答”にスタジオ称賛

有村架純、『あまちゃん』台本の転売騒動　“耳を疑う言い訳”に「これはヤバイ」「ダサすぎて…」の声

エアコンのフィルター汚れが「身近なもの」でごっそり…　掃除機よりとれて、まさに神ワザ

約3割、外食したときの“あること”が苦手　森泉は「やめない？」「言いにくいし…」

堀江貴文氏、中居正広の騒動をあの人物に直撃　年明けの“動き”次第では「フジがヤバイ」「もう崩壊」

“アレのやりすぎ”が認知症をグッと進行させる？　日常に潜むリスクに「心配」「気を付けなきゃ」の声

ゆうちゃみ、“まさかの風呂事情”を明かし女性陣驚愕　「洗っちゃダメ」と指摘され…

コンビニ店員が会計時「やめてほしい」と思ってること　“アレ”を直に置く行為に「気持ち悪い」と悲鳴

『NHK紅白』出場の米津玄師「1日の睡眠時間」に驚き…　一般人ではほぼ難しい

NHKに旧ジャニ・タレントが1年ぶり出演　報道の2文字にファン怒り「何様だよ」「求めてない」

水筒を洗う時、絶対してはいけないこと　実は4割の人が「知らなかった」と明らかに…

恐ろしいほど老ける“意外な朝食”、体にいいと思ってたのに…　皮膚科医の解説に「ほんとに大事」「変えなくては」

「最近離婚したんですよ」人気作家がサラッと告白　『あさイチ』で語った“前向きな言葉”に反響

ハリセンボンは「仲悪いんですか？」と聞かれ…　近藤春菜の“返答”にスタジオ称賛

デヴィ夫人、「あるもの」を失うと人は老ける…　すでに約4割の大人が見失っていた

強盗や空き巣のターゲットになってるかも…　「これがある家はとても危険な状態」防災士が注意喚起

田中将大の楽天“退団理由”に岩本勉氏が厳しい見解　「それは給料下がるって」

襲撃事件で亡くした娘の彼氏に母親が涙で感謝　「娘を守ろうとした勇敢な少年」

青服・白バイクで道路を見守る男性、その正体にゾッとした　「犯罪では？」と怒りの声続出

千原せいじ、テレビで報道しない事件に怒り　「なんでマスコミは騒がへんの？」「大問題やで」

小倉智昭さん訃報記事の“見出し”に不快感あらわにする人が続々　「悲しい」「負けたみたいに言わないで」

パイプ掃除、放置しすぎると「ゾッとする事態」招くことも…　使い方を“勘違いしてる人”が続出

巨人入団報道の田中将大に、高木豊氏がメッセージ　「ちょっと言っとくけど…」