「指」と「てのひら」の両方から触覚情報が得られるので、従来のタッチスクリーンよりも使い心地が良いかもしれません。
この技術であれば、ユーザーはARグラス以外にデバイスを持ち運ぶことも身に着ける必要もないでしょう。
では、この新技術がどのように機能するのか、詳細は次項で紹介します。
「てのひら」をタッチスクリーンにする新技術
モリン氏ら研究チームが開発する「EgoTouch」は、てのひらをタッチスクリーンにする技術です。
過去にもこのよう技術は存在していました。
例えば、今回の研究に参加しているクリス・ハリソン氏が開発した「OmniTouch」も、壁や人間の皮膚にキーボードなどを投影し、インターフェースとして利用することができました。
この技術には物体までの距離情報を取得できる「深度カメラ」が必要です。
深度カメラによって、現実世界の指の位置を追跡することで、人間の操作を反映させられるからです。
しかし、深度カメラは特殊で扱いづらく、一般的なARゴーグルには内蔵されていません。
対照的に、モリン氏らが今回開発したEgoTouchは、一般的なAR/VRゴーグルにすでに備わっている「RGBカメラ（RGB optical camera）」を利用しています。
RGBカメラは赤緑青の光を検出する一般的なカラー撮影用カメラであり、デジタルカメラやスマホなど、日常的に使用されている多くの撮影機器に搭載されています。
そしてこのカメラは、現実世界においてユーザーがてのひらを指で押したときの影や皮膚の変形を捉えることができます。
微妙な視覚的情報の違いをAIに収集・処理させることで、ユーザーがどこをタッチしているのか、どのような指の動きをしているのか判断し、インターフェースとして活用するのです。
