手話をリアルタイムで翻訳してくれるAIをインドの学生が開発

近年では、ビデオ通話やオンライン会議が仕事をするうえで欠かせないものとなっています。

しかしビデオ通話サービスのほとんどは、手話を使う人向けに開発されていません。

そこでインド・ベロール工科大学（VIT）工学部に所属する学生プリアンジェリ・グプタ氏は、アメリカ手話（ASL）をリアルタイムで翻訳してくれるAIを開発しました。

オンライン通話の画面上に、手話の意味を英語で表示してくれるのです。

インドの学生が聴覚障がい者とのコミュニケーションギャップを埋めるために奮闘する

グプタ氏が新しいAIを開発するきっかけとなったのは、母親との会話でした。

彼女の母親はグプタ氏に、工学部生として何か違うこと、新しいことにチャレンジするよう励ましたのです。

この励ましを受けたグプタ氏は、「自分のもつ知識と技術で一体何ができるのだろうか」と深く考えるようになりました。

そして彼女は、聴覚障がい者など、特別なニーズを持つ人々たちに役立つ技術を開発したいと考え、そのための良いアイデアもひらめきました。

(画像=視覚障がい者とのコミュニケーションギャップを取り払う技術を考案 / Credit:Depositphotos、『ナゾロジー』より引用)

グプタ氏が焦点を当てたのは、アメリカ手話です。

アメリカ手話はアメリカ合衆国やカナダ、また中部アフリカのさまざまな国で使用されており、世界で最も普及している手話の１つだと言われています。

グプタ氏は、近年使用率が増加しているビデオ通話に手話翻訳機能を追加することで、手話を使える人と使えない人のコミュニケーションの垣根をなくしたいと思いました。

そして実際に「アメリカ手話のリアルタイム翻訳AI」を機能させることに成功。

次項では、この新しいAIがどのように働くか解説します。

グプタ氏が開発したAIモデルは、一般的なオンライン通話の画面上で機能します。

アメリカ手話を使用すると、ウェブカメラがその画像を捉え、リアルタイムで英語に翻訳してくれるのです。

翻訳された英語は画面上に注釈の形で表示され、手話を知らない人でもビデオ通話に参加して理解できるようになっています。

とはいえ、このAIの開発はまだ初期段階にあります。

現在、翻訳できるアメリカ手話は、「はい」「いいえ」「お願いします」「ありがとう」「愛しています」「こんにちは」の6つだけなので、今後の機能拡大に期待したいところですね。

課題の1つは、「手の動き」を検出することです。

現段階でAIは、手の形を1枚の画像（シングルフレーム）でしか認識・学習できません。

つまり静止画でも伝わる手話しか翻訳できないのです。

しかし手話のほとんどは、「一連の手の動き」で1つの意味を表現します。

これをAIに翻訳させるには、動画（マルチフレーム）を認識・学習できるようアップグレードしなければいけないでしょう。

現在グプタ氏はこの課題に取り組んでいる最中であり、専門家の助けを得ながら、実用的な手話翻訳AIの開発を続けています。

さてこのように、学生たちが自分にできることを真剣に考え、コミュニケーションギャップなどの社会問題に取り組むことは、今まさに必要なことだと言えます。

将来、グプタ氏のような若い研究者が、より大きな問題を科学技術で解決してくれるのかもしれません。

参考文献
Student uses AI to translate sign language to English in real-time

priiyaanjaalii0611 / ASL_to_English