技術系の研究は、専門的で難しい話になりそうなイメージを持つ人がいるかもしれません。
しかし新しい技術は私たちの身近なエンタテイメントの世界でも活躍しています。
例えば音楽は、昔はレコードやカセットテープ、CDなどのメディアに記録され、それらを聴くのが一般的でした。しかし、今やほぼ全ての音楽がデジタル化されて、世界中の何千万曲という音楽を定額サービスでネット上から聴き放題で楽しめるようになりました。
これ自体も技術による大きな変化ですが、そうやって膨大なデジタル音楽に誰でも触れられるようになると、そこには音楽を創る側にも聴いて楽しむ側にも、今までとは全く異なる音楽との関わり方や楽しみ方が生まれてきます。
バーチャルライブなどの仮想空間と繋がった新しい音楽ライブ、大量の音楽から好みの曲を見つける方法、手間のかかる音楽動画を簡単に創る方法、こうしたエンタテイメントに関わる技術の数々も、いきなり発展するわけではなく、SFのような未来を予想して何十年も前から準備してきた研究者たちのおかげで、私たちは利用することができるのです。
ナゾロジーと産総研マガジンのコラボ企画第二弾は、そんな音楽体験の未来を切り拓く研究者 産業技術総合研究所（産総研）首席研究員 後藤 真孝さんにお話しを伺います。
研究者たちは、一体どのように未来を捉え、どんな新しいワクワクする音楽体験を作っていくのでしょうか？
こちらの記事は、「産総研マガジン」でも同時公開されています。
「もっと能動的に音楽を楽しむ」未来の音楽体験にまずは触れてみよう！
――後藤さんの研究チームの仕事は色々なところで紹介されていて、たぶん何かしらの形で触れたことがあるって人も多いのではないかと思います。ニコニコ動画のニコニコ大百科に「産総研P」ってボカロP（プロデューサー）が登録されていますけど、その中の人たちは後藤さんの研究チームですよね。
後藤：そうですね。「産総研P」と自分たちから名乗ったことはないんですけど、2008年にユーザーの歌い方を真似して初音ミクが自然に歌えるという技術「VocaListener（ぼかりす）」のデモ動画を、「【初音ミク】 PROLOGUE 【ぼかりす】」というタイトルでニコニコ動画に投稿したのがきっかけです。
――これ発表されたとき私も「すげぇ」って笑って見てたのを覚えています。初音ミクがすごく人間臭く演歌を歌ってる動画「【初音ミク】 大漁船 【ぼかりす】」も投稿していましたよね。これ以外にも、ボカロ楽曲やニコニコ動画と連動した研究を色々出されているので、後藤さんのことは「初音ミクの研究をしてる人」と認識している方も多いかもしれないですね。
初音ミクをモデルにした「南極点のピアピア動画」というSF小説の中にも、「産総研の後藤」というキャラクターが出てくるんですよね。
後藤：そうなんです、これは本当に嬉しくて。事前に知らされていなかったので、後から知って驚きました。
――あれ、知らないうちに出てたんですね（笑）
後藤：あるとき自分がSF小説に出ているとしか思えないツイート（ツイッター上の書き込み）を見つけて。買って読んでみたら本当に「産総研の後藤」が主人公の一人として登場していてびっくりしました。著者の野尻先生とは情報処理学会でお会いしたことはあったのですが、おそらく、私は無断でも喜ぶだろうと見抜かれていたんだと思います（笑）。
――そんなユニークなお話しもある後藤さんですが、研究分野はどういうものになるんでしょうか？
後藤：いろいろと取り組んでいるんですけど、本日お話しようと思っているのは「音楽情報処理」という研究分野です。これは、コンピュータで音楽のあらゆる側面を扱う分野で、学生の頃から31年間取り組んでいて、私が非常に愛している研究分野です。
音楽配信とか楽曲の検索とか、今話題に出た歌声合成もそうですし、音楽を鑑賞する人たち、創作する人たちの支援なども含むとても幅広い分野です。
特に今回は、コンピュータが音楽を解析する「音楽理解技術」にフォーカスして、音楽情報処理の力でこんな面白い事が可能になる、ということをお話しできればと思っています。
――後藤さんたちの研究ってウェブサービスとして公開されていて、すぐに読者にも触ってもらえる面白い成果がすでにたくさんあるんですよね。
後藤：そうですね。私たちはただ論文を書くだけじゃない研究アプローチを目指しています。技術の力で未来を切り拓くって考えた場合、企業と連携するのはもちろん正攻法で私たちもやっていますけど、最新技術を皆さまにいち早く使ってもらえるように、研究者自らがウェブサービスやプラットフォームを研究開発して公開するということに挑戦しています。
――私は先にいろいろ見せていただいたんですが、そのウェブサービスっていうのは、URLに接続するだけで誰にでも触ってもらえるんですよね。なのでここはウェブ記事の強みとして、まず後藤さんたちが公開している研究成果の一部を読者の方たちに触ってもらって、「なにこれ、すごい！」って驚かせてから中身の技術や研究の話をしていきたいと思います。
私は見せていただいた中で、歌詞付きのPVが簡単に作れてしまうってサービスが非常に驚いたんですけど。
後藤：「TextAlive（テキストアライブ）」ですね。これはリリックビデオ（歌詞アニメーション）の制作支援サービスです。リリックビデオというのは音楽に合わせて歌詞が踊るように動くアニメーションが表示される動画のことで、近年、目にすることも多い人気のある演出です。
※「TextAlive」リンク こちらをクリックして体験してみてください
音量に注意
（画像下部にある「キュート」とか「グラデーション」というスタイルボタンをクリックすると歌詞アニメーションが変化します。右のメニュー（スマホはページの一番下部）では歌詞のフォントも自由に変えられます。）
後藤：ここで表示されているリリックビデオは既存の動画を見ているわけじゃなくて、ウェブブラウザ上で実行されているプログラムがリアルタイムに生成している映像なんです。なので見ながら編集もできます。YouTubeなどの動画再生とはまったく違う体験になっています。
普通はリリックビデオを作るには、歌詞の1文字1文字のタイミングを人手で設定して演出もつける必要があって大きな手間がかかります。でもTextAliveを使えば、コンピュータが音楽を解析することで歌詞の表示タイミングなどを自動で設定してくれるので、手軽にいろいろなリリックビデオが作れるんです。
――私これ見たときライブとかの演出に使えそうとか思いましたが、実際すでに初音ミクのライブとかプリキュアのライブ背景で流れているリリックビデオにこのTextAliveの技術が使われたことがあるんですよね。
後藤：そうです。例えば、初音ミクの公式ライブ「SNOW MIKU LIVE! 2018」で画面の上に流れている歌詞がそうですね。
後藤：プリキュアはVR空間の中のバーチャルライブなんですが、最近、VRライブの演出で利用いただく事例が増えてきました。もちろん、TextAliveでPVを付けたオリジナル楽曲もいろいろなクリエイターの皆さまが公開しています。
2023/12/9-10に
「 #プリキュアバーチャルワールド 」の「ミュージックステージ」の11曲
で、我々のリリックビデオ制作支援サービスTextAlive を使用して制作された映像が活用されたときの様子が、
動画と静止画で本日公開されました！— Masataka Goto / 後藤真孝 (@MasatakaGoto) January 16, 2024
――この時点でも驚く人は多いと思いますけど、「TextAlive」自体は結構前の成果で、ここから更に新しい試みをされているんですよね。
後藤：そうです。TextAliveでいろいろ編集はできますが、最終的にでき上がるものは動画なんです。でも未来ではインタラクティブに毎回違う体験が当たり前になると私たちは考えました。そこでリリックビデオの次世代の姿として、世界初の「リリックアプリ」という新概念を提案しました。これは音楽に合わせてタイミングよく歌詞が動く音楽アプリで、それをプログラマーの皆さまが自由に開発できるプラットフォーム（API）を開発して公開したんです。
これを使うと何ができるかって言うと、例えばマウスで画面をなぞっていくとそれに合わせて歌詞が追いかけて表示される音楽体験ができるようになります。ユーザーがマウスをどう動かすかによって歌詞の出方がぜんぜん違うので、PVと違って二度と同じ画面が表示されず、自分専用の演出を楽しめます。
――これスマホだと指でなぞって遊べるんですね。
後藤：そうです。パソコンでもスマホでも誰でも無料で試せます。これは見ているだけだとわからないかもしれませんが、自分で触ってみるとすごく面白い体験なんです。なのでぜひ実際に触って、これが未来の音楽体験かって感じてもらえればと思います。
リリックアプリの画面。 / Credit:産業技術総合研究所
――これ確かに音に合わせて自分のなぞった場所に歌詞がでてきて、ただ聴くのとは全然違った体験に感じられますね。で、さらにこの技術を使ってプログラミングコンテストも開かれたとか。
後藤：私たちはあくまで裏方なので、APIを整備してみんながリリックアプリを開発できるように提供しています。その「TextAlive App API」を使ったリリックアプリのプログラミングコンテストを、初音ミクで有名なクリプトン・フューチャー・メディア株式会社が、2020～2023年に4回実施してくださいました。いろんな方に応募いただけて私たちも驚くようなアプリが次々と登場しています。
コンテストの公式サイトでは4年間の入選作品40作品（2020年、2021年、2022年、2023年）がパソコンやスマホで遊べるように公開されているので、ぜひ体験してみてください。本当に面白くって、「あ、音楽でこんな事ができるんだ」って未来を感じてもらえると思います
＼
お知らせ／
『初音ミク「マジカルミライ 2023」プログラミング・コンテスト』入選10作品が決定いたしました本日より最終審査に向けた『ミクナビ』での投票を開始いたします！あなたの一票でお気に入りの作品を応援しましょう
#マジカルミライ2023 #mm2023procon
— 初音ミク マジカルミライ 公式 (@magicalmirai) August 11, 2023
――ちょっといくつかピックアップしてもらおうかなと思うんですけど。
後藤：そうですね、例えばリリックビデオとはまったく違うことをわかっていただくために、2023年の入選作品の中でゲームっぽいのだと、このエントリーNo.2の「りりっくぼーる」は、簡単に遊べて、なるほど！ってわかると思います。
※「りりっくぼーる」を試す
――あ、すごい。これ歌詞がピンボールになって飛び出してくるんですね。しかもちゃんとスコアもついてて。これ、わけの分からない凄さを感じますね（笑）こう来るとは思わなかったです。
後藤：あと、最優秀賞になったのがエントリーNo.6の「Miku SNS」というもので、これはSNSの投稿画面で、歌詞が一行ずつ歌われるタイミングで表示されます。この歌詞の投稿それぞれに「いいね」ができたり、返信できたりするだけでなく、自分でも自由にメッセージを投稿できるんです。
※「Miku SNS」を試す
――楽しい！これすごいですね！
後藤：しかも、歌詞の投稿に返信をしている他のSNSユーザーにもちゃんと人物設定がされていて、クリックするとその人の過去の投稿も見れたりするんです。すごく作り込まれてます。
――これってPVの演出とかにありそうなのに、本物のSNSアプリみたいに使うことができるんですね。これはまさに触れる未来のPVですね。
後藤：あとカメラが利用できるなら、優秀賞になったエントリーNo.9の「lyric-from-mouth」を試してみてください。
ウェブブラウザでカメラを有効にすると、画面内の自分の口から歌詞が飛び出してくるんです。口を開ける大きさで飛び出す歌詞の文字サイズも変わったりして、これやってみるとわかるんですが、人生で初の音楽体験になると思います。
※「lyric-from-mouth」を試す
――ほんとにこれは面白い！確かに未来を感じます。これもうこのサイトで一日中遊べちゃいますね。
後藤：他にも素晴らしい作品がいろいろと公開されているので、ぜひ体験してみてください。
私たちは未来にリリックアプリの概念が普及することを確信していて、ここでプログラマーの皆さまが応募した斬新な作品も、形を変えて未来には当たり前の音楽体験になっているのだと思います。なので、今、リリックアプリを体験した方は、将来そのアイデアが流行ったとき、あのプログラミングコンテストの作品が世界初だったんだ！のように思い出していただけるかもしれません。
――もうこの時点で、未来の音楽体験を作る技術という研究がすごいなって分かってもらえると思うんですけど、ここまでは今回の記事の掴みにするために、後藤さんたちの研究に関してちょい見せしてもらっただけでして、ここからはなぜこんな事ができるようになったのか？という研究の中身について伺っていきたいと思います。
