現在インターネット上には膨大な数の音楽動画やファイルが溢れています。
気に入った曲に出会ったとき、自分で演奏してみたい、あるいは編曲したいと考える人も多いでしょう。
けれど、実際その曲の楽譜が手に入ることは稀です。なぜなら、世の中のほとんどの曲は楽譜になっていないからです。
京都大学の研究グループは、そんな楽譜化されていない音楽の問題を解決するべく実用に近いレベルで聞いた曲を楽譜にする「耳コピAI」の開発に成功したと報告しています。
難しい採譜を自動で行ってくれるAIの登場は、演奏を行う人々の支援から、音楽学研究や音楽教育への応用まで、幅広い活躍が期待できます。
研究の詳細は、3月13日付で、科学雑誌『Information Sciences』オンライン版に掲載されています。
楽譜のない音楽たち
世の中にはたくさんの音楽が溢れていますが、きちんと楽譜になっている曲というのは実のところあまり多くありません。
実際正確な楽譜を自分で書く作曲家というのは少数で、クラシックを除けば市販されている楽譜の多くは、別の人が「採譜」という作業を行って作っています。
「採譜」というのは音楽を耳で聞いて楽譜に書き起こすことです。これは「耳コピ」という呼び方もされています。
ネットにあげられる音楽関連の動画でも、「耳コピ」という単語はよく目にします。
現代のポピュラー音楽などは、楽譜がなく演奏家が耳で聞いて再現しているパターンが非常に多いのです。
けれど、たとえばジャズのような奏者のアドリブやアレンジを主軸にした音楽には楽譜は存在していませんが、音楽教育や音楽研究の現場では、過去の優れた演奏の正確な楽譜は絶対に必要な道具です。
そんな大げさな状況でなくとも、気に入った曲に出遭ったとき演奏してみたい（だから楽譜が欲しい）と考えるのは、楽器が扱える人にとってごく当然の衝動でしょう。
曲を正しく演奏しようとする場合や、優れた音楽を分析し研究しようとする場合に、正確な楽譜は必須の存在なのです。
しかし、採譜は誰にでもできる作業ではありません。
複雑な音の並びを耳で聞いて楽譜にするためには、特殊な訓練が必要であり、音楽理論の正しい知識も必要になってきます。
作曲家のメンデルスゾーンは、コンサートから帰ると、家人に「こんなだったよ」と1度聞いただけの曲を全部ピアノで演奏してみせたといいますが、そんな天才は普通いません。
採譜は非常に時間のかかる作業で、このため世の中の多くの曲は楽譜になっていないのです。
そのため、現代ではこの採譜をコンピュータによって自動で行う研究もされていますが、思うように進んでいないのが現状です。
特に、ピアノ演奏のように、複数の音が重なった和音を多用する音楽は、音高（ピッチ）とリズムの複雑な組み合わせを認識する必要があるため、自動化は長年の課題となっていました。
耳コピができるAI
今回の研究は、機械学習を用いて多重音高検出の手法とリズム量子化の手法を統合した自動ピアノ採譜システムを構築したといいます。
多重音高検出とは、入力音声データに対して、各時刻に含まれる音の高さと強さ、そして打鍵の有無を推定するものです。
リズム量子化とは、人間の演奏に含まれる時間的変動のモデルと、楽譜に現れる一般的なリズムパターンの統計的特徴を表すモデルを作ることです。
これらを深層ニューラルネットワークを用いて、AIに学習させ、従来の手法に比べて採譜の誤りを半数以下に低減させることに成功したのです。
しかし、局所的には、テンポや拍子、小節線の位置などに誤りが多く見つかりました。
そこで、こうした部分はフレーズの繰り返し、コード進行など複数の音楽要素から決まってくることが多いため、研究グループは音符同士の関係性に関する統計量を使ってこの精度をさらに高める改善を行いました。
結果的に、このシステムは、かなり実用レベルに近い楽譜を生成することに成功し、長年未解決問題だった自動ピアノ採譜の技術を大きく推し進めたのです。
実際に研究では、ピアノ演奏のYouTube動画を利用して、そこから楽譜を自動生成する実験も行っています。
音階の研究はピアノ演奏を対象としていますが、同じ方法は歌声やギター、ドラムなど他のさまざまな演奏にも応用できるため、ここから自動採譜の研究が一気に広がっていくことが期待できます。
この技術が本格的に利用可能になれば、誰もがインターネット上の演奏動画から楽譜を起こして演奏できるようになり、より豊かな音楽文化がもたらされるようになるでしょう。
ただ、こうした技術については、音楽の登用など著作権に関わる問題もつきまといます。
研究者たちは、研究の発展に合わせた法整備を進めることも必要だと語っています。
参考文献
ピアノ演奏を楽譜に書き起こす「耳コピAI」 －実用に近いレベルの楽譜生成に初めて成功－（京都大学）
音響から楽譜へのピアノ採譜
元論文
Non-Local Musical Statistics as Guides for Audio-to-Score Piano Transcription?
提供元・ナゾロジー
【関連記事】
・ウミウシに「セルフ斬首と胴体再生」の新行動を発見 生首から心臓まで再生できる（日本）
・人間に必要な「1日の水分量」は、他の霊長類の半分だと判明！ 森からの脱出に成功した要因か
・深海の微生物は「自然に起こる水分解」からエネルギーを得ていた?! エイリアン発見につながる研究結果
・「生体工学網膜」が失明治療に革命を起こす？
・人工培養脳を「乳児の脳」まで生育することに成功
