この技術の開発にあたって、研究チームは15人のユーザーに協力してもらい、様々な条件(タッチの方法、肌の色、毛深さ、照明、皮膚の場所、タッチの種類)でAIをトレーニングしました。

その結果、EgoTouchは手のひらのタッチを96%以上の精度で検出できるようになりました。

誤検出率はわずか5%です。

またタッチが軽いか強いかも、98%の精度で分類することができるようになりました。

単にタッチを検出するだけでなく、ドラッグしたりスワイプしたりするような動作も認識できました。

こうした検出能力は、私たちがタッチスクリーンを使用する時の動作(スクロール、ズームイン、スワイプ、長押し)を反映させる上でも重要です。

画像
将来、てのひらで何でも操作できる時代が来る? / Credit:ACM SIGCHI(YouTube)_EgoTouch: On-Body Touch Input Using AR/VR Headset Cameras(2024)

また実験では、肌の色や毛深さが異なっていても、腕の前面・背面、てのひら・手の甲など、手や腕の様々な部分で同じように機能することを証明できました。

ただし、指の関節など骨のある部分では上手く機能せず、これは皮膚の変形が大きくないからだと考えられます。

そしてモリン氏は、このシステムの汎用性について次のように述べています。

「私たちは全てのヘッドセットにすでに搭載されているカメラだけを使用するシステムを開発しました。

このモデルは、調整なしで即座に使用できます」

EgoTouchシステムは、今のところ開発途中にありますが、近い将来、これが製品化し、ARグラスと組み合わされるなら、私たちの世界は次のステップに進むはずです。

その新しい世界では、街中を歩く誰もがスマホや時計、音楽プレイヤーなどのデバイスを持ち運びません。

スマートなARグラスをかけて、てのひらをなぞりながら、これまでスマホでしていた全てのことを行っていくのです。