動き回るビジネスマンにとって、場所を選ばずに作業できるノートパソコンやスマホ、タブレットは必需品です。

そのため、より軽く省スペースで、持ち運びに便利なデバイスが求められています。

究極的に言えば、「何も持たないで、どこでも作業ができる」ことが理想です。

今回、アメリカ・スタンフォード大学(Stanford University)化学工学科に所属するキュン・キュウ・キム氏ら研究チームは、皮膚の動きだけでタイピングを読み取る技術を開発しました。

これにより、キーボードやカメラが無くてもコンピュータを操作できるようになります。

研究の詳細は、2022年12月28日付の科学誌『Nature Electronics』に掲載されました。

読み取り技術は「環境」の制限を受ける

「何も持たないで機械を操作する」ための1つの方法は、人間の動作の読み取りです。

機械が人間の指や手の動きを読み取って正しく解釈できるなら、人間が入力デバイスを持って操作する必要はないのです。

従来の読み取り技術は設備の整った環境に依存している
Credit:Canva

そして読み取り技術(モーションキャプチャ、歪みセンサーなど)自体は、既に存在しています。

ところが従来の技術は、複雑な外部装置に依存しています。

人間が何も持ったり触ったりしない代わりに、ケーブルに繋がれた重たいグローブを装着したり、周囲にカメラを設置したりする必要があるのです。

従来の入力デバイスに頼らず作業する方法はある?
Credit:Canva

これらは、私たちが望んでいるような「どこでも作業できる」ものではありません。

そこでキム氏ら研究チームは、皮膚にプリントする新しい読み取り技術を開発しました。

皮膚に塗布された薄いスマートスキンによって皮膚の動きを読み取り、その動きから機械を操作できるというのです。

手の動きだけでタイピングを読み取るウェアラブルデバイスが開発される

新しい読み取り技術は、指先から手首にかけて薄い皮膚のようなナノメッシュをプリントすることで機能します。

このナノメッシュは金でコーティングされた数百万本の銀のナノワイヤーで構成されており、電気経路となります。

手と腕にプリントしたナノメッシュが皮膚の動きを読み取る
Credit:Kyun Kyu Kim(Stanford University)_Spray-on Smart Skin Reads Typin g and Hand Gestures(2023 IEEE Spectrum)

皮膚の伸縮によって電気抵抗にわずかな変化が生じるため、手の動きに応じて独自の信号パターンが生成されます。

そしてこの信号は手首に装着した軽量のBluetoothユニットを介してコンピュータに送られ、それぞれのパターンから手の動きを解読してくれるのです。

これにより、手の動きだけで「キーボード上のどのキーを打とうとしているのか」判別できます。

つまりキーボード無しのタイピングが可能になるのです。

AIの機械学習によって皮膚の動き(手の動き)だけ入力したい文字を判別できる
Credit:Science X: Phys.org, Medical Xpress, Tech Xplore(YouTube)_Spray-on smart skin uses AI to rapidly understand hand tasks(2022)

また研究チームは、複数のユーザーの手の動きをAIに学習させ、認識精度を高めることに成功しました。

こうして訓練されたAIは、全く新しいユーザーがキーボード無しで入力する文章を正しく認識することができたようです。

ただ現状、読み取れているのは人差し指一本だけであり、チームは今後、複数の指でタイピングできるよう発展させる予定です。

この新しいナノメッシュのメリットは、環境を選ばず、簡単に利用できる点にあります。

ナノメッシュは軽くプリントも簡単。どんな場所でもタイピングできる
Credit:Kyun Kyu Kim(Stanford University)_Spray-on Smart Skin Reads Typin g and Hand Gestures(2023 IEEE Spectrum)

例えば、ナノメッシュは携帯用デバイスを使って皮膚に直接プリントできます。

またユーザーが装着していることに気づかないほど薄くて軽く、柔軟性もあります。

さらに生体適合性や通気性にも優れており、石鹸や水で擦らない限り、数日間の日常的な使用に耐えられます。(手洗い程度であれば問題無し)

ブラインドタッチさえ習得していれば、キーボード配列を印刷した薄い紙や布を敷く必要さえありません。

指を動かしさえすれば、いつでも文字が打てるのです。

将来的にはスマートグラスと組み合わせることで、どこでも手ぶらでメールの返信をしたり、メモを取ったりできるウェアラブルデバイスとして活躍するでしょう。

参考文献
Spray-on smart skin uses AI to rapidly understand hand tasks
Spray-on Smart Skin Reads Typing and Hand Gestures

元論文
A substrate-less nanomesh receptor with meta-learning for rapid hand task recognition