【ナゾロジー×産総研　未解明のナゾに挑む研究者たち】「初音ミクも研究対象！未来の音楽体験を作る研究」

技術研究に重要な未来予測の考え方

――こうしてお話しを聞いていると未来予測が研究者にとっていかに重要かってことを感じます。技術研究で成果を出している人たちは非常に未来を予測するのが上手いという印象をいつも受けますが、後藤さんはどうやって先を予想しているんですか？　なにか秘訣がありますか？

後藤：技術から発想する場合も多いですが、私はSF小説を読んだり、自分の研究とは関係なくても未来について考えたり人と話したりするのが好きなんです。そういうことをやっていると、「ああこんな未来になるなら、自分の技術がそこに組み合わさってこういう事ができるんじゃないか」って浮かぶことがあります。

――そう聞くと、SF好きの人たちが趣味でやっていることと大きくは変わらない感じがしますね。SF作品を元に自分の面白いと感じる未来を想像して、それを核にその世界で起きそうな問題をテーマにするという。

後藤：未来予想は研究者それぞれで違うでしょうし、そうして予想した未来の誰も解いたことのない問題を解けば、必ず世界初の研究になる。なにか先にやっておけば、後でそれが必要になったときに先駆者として自分たちの名が上がるかもしれない。それは研究者として非常に嬉しいことですし、それに魅力を感じて、より多くの人たちが研究者になってくれると嬉しいです。

これからの未来について

――では最後に後藤さんが考えるこれからの未来について伺って今回の記事を締めようと思います。これまでも未来について色々予想しながら研究を進められてきた後藤さんは、これからの未来についてはどんなことを考えているんですか？

後藤：未来を語るには過去からの流れを振り返るとよいのですが、音楽は、昔から技術と共に発展してきています。今では当たり前のピアノやギターも発明当時は最新技術だったわけです。そんな風に、楽器もスピーカーも制作環境も配信手段も全部技術の力が支えています。つまり音楽という文化は技術の発展の影響を受けていて、その体験も技術とともにどんどん変化している。この変化が未来にも続かないわけがありません。

既に音楽のデジタル化が進んで大規模にクラウドに集積されたわけですが、従来は量的な変化、つまりコンテンツの数が増える変化が中心でした。でも、単にコンテンツを配って価値を生むことはだんだん難しくなっていきます。

私は、音楽のデジタル化がもたらす真の価値は、質的な変化、つまり体験の質が変わる変化だと10年以上前から論文に書いて主張していて、その変化を起こす鍵となるのが音楽理解技術だと考えています。それによって、「コピー不可能な能動的体験」を生むことが新たな価値を創っていきます。

さっき紹介した「リリックビデオ」の未来が「リリックアプリ」だ、というのがまさにその例なのですが、リリックビデオではみんな同じ映像を見ていたのが、リリックアプリでインタラクションを楽しみながら作品に触れると、その人ごとに違うコピー不可能な能動的体験になるわけです。

これが進むと、クリエイター側が最初から多様な体験を与える自由度のあるコンテンツ制作をするようになるかもしれません。

一方、聴いている側もコンテンツを自分好みに変化させるようになっていくかもしれません。今日紹介できなかった他の能動的音楽鑑賞インタフェースの事例では、私たちもいろいろと提案していたりします。

――聴いている側がそうやって好みでいじれるようになると、だんだん鑑賞と創作の境界が曖昧になっていく印象がありますね。

後藤：それが私たちの目指してきた能動的な音楽鑑賞です。ユーザーはただ受け身でコンテンツを消費するだけの存在じゃない。音楽鑑賞もクリエイティブな体験になっていくわけです。

だから私たちのKiiteでは最初から、ユーザーを「リスナー」とは位置づけずに、楽曲を他の人にお勧めする「キュレーター」と位置づけて明記しています。自分が好きな音楽を見つけて、そのプレイリストを作って共有して紹介し合い、さらにそれをみんなと一緒に聴く、という行為は充分にクリエイティブで、未来ではそれも表現や創作のカタチとして当たり前になっていくと思います。

そういう意味でも、さきほど紹介したようにKiite Cafeのファンの人たちが私たちの思いもしなかったすごくクリエイティブな応援をしてくれたことは、一緒に未来を切り拓いている同士のように感じられて、本当に嬉しかったんです。

――創作と鑑賞とコミュニケーションが全部融合して新しい体験になっていく感じがしますね。

後藤：そうやって、人間のクリエイティブな活動と技術の発展の両輪で、音楽の楽しみ方がより能動的で豊かになる質的な変化を起こしていければ、音楽の体験や文化はもっと豊かになっていくはずだと信じています。

今回は技術の力で新しい音楽体験の未来を拓いていく研究者、後藤真孝さんにお話しを伺いました。

非常に多岐にわたる大量の研究成果があり、長いお話しになりましたが、実際のところこれでもまだ全部紹介しきれておらず面白い技術が色々とカットされています。

他にも後藤さんが関わった産総研のサービスに、ニコニコ動画上のオリジナル楽曲の動画が星になり、派生動画がその衛星になって回る星図「Songrium」があります。

Songriumにはニコニコ動画の人気コンテンツがいつの時代にどう盛り上がっていたかを追体験できる「超歴史プレーヤー」という機能もあり、これはニコニコ動画に浸って生きてきたオタクには懐かしく、配信者の話すニコニコネタが分からないと嘆く最近の若い人には非常に便利な楽しいコンテンツです。ぜひこれも機会があれば触って見て欲しいと思います。

Kiiteなどのサービスも含め、後藤さんたちが取り組んでいるのは、コンテンツとの出会いであり、私たちを幸せにする新しい体験です。

これらの技術は人々に体験してもらって初めて価値を生むものです。ぜひこの機会に後藤さんたちが公開しているサービスに触れて楽しんでもらえたら幸いです。

最後に、今回の記事で紹介した技術やサービスは、後藤さんをはじめ様々な研究者やエンジニア、関係者の方々の貢献によって達成された成果です。その方たちのクレジットを記載させていただきます。

関連文献

[TextAlive]

• プレスリリース (2015/09/08)
  音楽に合わせ歌詞が動く動画を容易に制作・共有できるサービスを公開: 誰でも好みの演出の歌詞アニメーションを作って楽しめる「TextAlive」
• Jun Kato, Tomoyasu Nakano, and Masataka Goto: TextAlive: Integrated Design Environment for Kinetic Typography, Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems (ACM CHI 2015), pp.3403-3412, April 2015.

[リリックアプリ / TextAlive App API]

• Jun Kato and Masataka Goto: Lyric App Framework: A Web-based Framework for Developing Interactive Lyric-driven Musical Applications, Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems (ACM CHI 2023), pp.124:1–124:18, April 2023.

[SmartMusicKIOSK]

• Masataka Goto: A Chorus Section Detection Method for Musical Audio Signals and Its Application to a Music Listening Station, IEEE Transactions on Audio, Speech, and Language Processing, Vol.14, No.5, pp.1783-1794, September 2006.

[Songle]

• プレスリリース (2012/08/29)
  インターネット上の楽曲の中身を自動解析する音楽鑑賞システム: 誰でも利用できる能動的音楽鑑賞サービス「Songle」を一般公開
• Masataka Goto, Kazuyoshi Yoshii, Hiromasa Fujihara, Matthias Mauch, and Tomoyasu Nakano: Songle: A Web Service for Active Music Listening Improved by User Contributions, Proceedings of the 12th International Society for Music Information Retrieval Conference (ISMIR 2011), pp.311-316, October 2011.

[V-Sido × Songle / Songle Widget]

• プレスリリース (2015/01/16)
  音楽に合わせてリアルタイムにロボットを踊らせる制御システム「V-Sido × Songle」を開発 －アスラテック「V-Sido OS」と産総研「Songle」で実現－
• Masataka Goto, Kazuyoshi Yoshii, and Tomoyasu Nakano: Songle Widget: Making Animation and Physical Devices Synchronized with Music Videos on the Web, Proceedings of the IEEE International Symposium on Multimedia (IEEE ISM 2015), pp.85-88, December 2015.

[Songle Sync]

• プレスリリース (2017/08/02)
  音楽に合わせて多様なデバイスを制御できるプラットフォームを公開 － インターネットを介した大規模音楽連動制御を手軽に利用できる「Songle Sync」 －
• Jun Kato, Masa Ogata, Takahiro Inoue, and Masataka Goto: Songle Sync: A Large-Scale Web-based Platform for Controlling Various Devices in Synchronization with Music, Proceedings of the 26th ACM International Conference on Multimedia (ACM Multimedia 2018), pp.1697-1705, October 2018.

[Kiite]

• プレスリリース (2019/08/30)
  音楽印象分析・音楽推薦を駆使して楽曲と出会える音楽発掘サービス「Kiite」を公開 － 視聴者の音楽への関心と音楽情報処理技術の力を結びつけて好みの楽曲を見つけ出せる －

[Kiite Cafe]

• Kosetsu Tsukuda, Keisuke Ishida, Masahiro Hamasaki, and Masataka Goto: Kiite Cafe: A Web Service Enabling Users to Listen to the Same Song at the Same Moment While Reacting to the Song, IEICE Transactions on Information and Systems, Vol.E106-D, No.11, pp.1906-1915, November 2023.

[Kiite World]

• プレスリリース (2023/07/19)
  音楽推薦に基づくマップ上で好みの楽曲を共有できる音楽発掘サービス「Kiite World」を公開 － 好みの100曲をお互いに公開してマップ上で一緒に聴きながら好みの楽曲を見つけ出せる －

[VocaListener]

• 主な研究成果 (2009/04/27)
  歌声合成パラメーター推定技術 VocaListener（ボーカリスナー）を実現 －『歌う』ことによって、より自然なニュアンスで歌声が合成できる－
• Tomoyasu Nakano and Masataka Goto: VocaListener: A Singing-to-Singing Synthesis System Based on Iterative Parameter Estimation, Proceedings of the 6th Sound and Music Computing Conference (SMC 2009), pp.343-348, July 2009.

[Songrium]

• プレスリリース (2013/08/27)
  ウェブ上の音楽コンテンツの関係性を可視化する音楽視聴支援システム: 誰でも利用できる音楽視聴支援サービス「Songrium」を一般公開
• Masahiro Hamasaki, Masataka Goto, and Tomoyasu Nakano: Songrium: A Music Browsing Assistance Service with Interactive Visualization and Exploration of a Web of Music, Proceedings of the 23rd International World Wide Web Conference (WWW 2014), pp.523-528, April 2014. (Web Science Track: Full Paper)

[能動的音楽鑑賞インタフェース]

• Masataka Goto: Active Music Listening Interfaces Based on Signal Processing, Proceedings of the 2007 IEEE International Conference on Acoustics, Speech, and Signal Processing (IEEE ICASSP 2007), pp.IV-1441-1444, April 2007.
• Masataka Goto and Roger B. Dannenberg: Music Interfaces Based on Automatic Music Signal Analysis: New Ways to Create and Listen to Music, IEEE Signal Processing Magazine, Vol.36, No.1, pp.74-81, January 2019.

全ての画像を見る

ライター

海沼 賢: 以前はKAIN名義で記事投稿をしていましたが、現在はナゾロジーのディレクションを担当。大学では電気電子工学、大学院では知識科学を専攻。科学進歩と共に分断されがちな分野間交流の場、一般の人々が科学知識とふれあう場の創出を目指しています。

編集者

産総研マガジン編集部: 日本最大級の国立研究機関、産業技術総合研究所。通称：産総研。ぶらぶら歩いてその土地の地質を紹介する番組に出演したり、腰の筋トレに役立つ「あえて歩きにくい靴」を運動靴メーカーと共同開発したり。「さんそうけん」の名前を知らないあなたの身近にも、すでに研究成果が生かされている…そんな研究所です。