スエズ運河におけるコンテナ船の座礁事故、福徳岡ノ場から噴出した軽石、ウクライナ国境のロシア軍……これらのニュースはすべて、衛星データとセットで報道され、多くの読者・視聴者にその話題の状況を生々しく伝えられました。
近年、衛星データを用いた報道を見かけることが増えたと感じている方も多いのではないでしょうか？ そして、今後も、報道における衛星データの利活用は増えることが予想されます。
一方で、衛星データに限らず画像を用いた報道には、現代において注意すべきポイントがあります。それは、報道に使われている画像が事実を写した画像なのか、フェイク画像かということです。
(1)ディープフェイクのリスク
ディープフェイクという言葉を聞いたことがある方も多いでしょう。その言葉の通り、ディープラーニング技術を活用して作成されたフェイク(偽物)画像のこと。
あたかも特定の政治家が発言を行っているような動画の投稿が行われたり、ドイツでは親会社の幹部を装う相手に、子会社の社員が電話で送金を指示され、約2600万円をだましとられたり……国内外問わず、ディープフェイクを悪用された事件が複数件発生しています。
そして、それは衛星データも例外に漏れず悪用される可能性が0ではありません。そこで、実際に衛星データのディープフェイクは作れるのか、また、それを見破ることはできるのか。宙畑で実験してみました。
※意図的なディープフェイクの悪用は厳禁です
(2)本記事で実践するディープフェイク生成
本記事では、ディープフェイクの生成を行うために、CycleGANを用います。CycleGANは、画像変換を行うことが可能な生成器です。
以前の宙畑の記事でも pix2pix という画像変換器を用いて、SAR画像を光学画像へ変換する方法が紹介されています。GANについても解説されているので、こちらを読んでおくと理解が深まると思います。
CycleGAN では pix2pix に存在していた問題点を克服することで、pix2pixでは扱えなかった変換も行えるようになりました。
pix2pixでの問題点
pix2pixでは、元のデータと変換後のデータを用意し学習させることで、未知の画像に対しても画像変換を行うことができます。pix2pixの論文では実際に、航空写真と地図を学習させることで、未知の航空写真に対しても地図を生成した結果が載っています。
しかし、pix2pixだと、学習の際に変換前と変換後の両方の画像が教師データとして必要になります。衛星画像だと、上の例のように、変化が無い画像であれば変換が可能ですが、今回のディープフェイクのような画像を生成する変換の場合は、変化前と変換後(例: 建物が建設される以前と建設された後)の画像データが必要になり、衛星画像のような変化に時間を要するような画像の変換は十分なデータが収集できない可能性があります。
CycleGANだと、変換前と変換後の画像(ペア画像)は必要なく、グループに分けた画像があれば大丈夫になります。
例えば、上記の例のような画像グループ(写真とモネの絵画)を集めれば、次の変換が行えるようになります。
・写真をモネ風の絵画にする変換
・モネの絵画を写真風にする変換
他にも、CycleGANの事例として、馬とシマウマを学習させることで、馬をシマウマに変換した動画が公開されています。
CycleGANの学習方法
CycleGANでは2個の変換器を用います。今回は次の２つの変換器を考えます。
・猫の写真をイラストに変換(変換器A)
・猫のイラストを写真に変換(変換器B)
この場合、画像は猫の写真と、猫のイラストの画像グループを集めればよくなります。
今までのGAN(pix2pix)等のタスクでは、1つの変換器で変換した生成物と教師画像(正解データ)を比較することで、ネットワーク(変換器)の更新をして学習していました。
しかし、CycleGANでは、対応する画像(教師画像)が必要なくなったはずなので、比較する画像がなくなり、このままでは評価ができなくなってしまいます。
そこで、変換器Aで変換した画像を変換器Bで変換することをやれば、元の画像が再び生成されるはずです。少しややこしいですが、今回の例ですと「写真をイラスト風に変換した画像に対して、今度は写真風の変換をかければ、元の写真に戻るはず」という考え方です。
このデータの流れは元の画像に対象が戻ってくるため、CycleGANと呼ばれる所以です。
また、この学習だけでは、変換器Aで生成された画像は何でも良くなってしまうため、もう一つの変換である「イラストの画像から2回変換して、元画像と比較する学習」も行うことで、どちらの学習でも途中の生成物も意図した画像を生成してくれるようになっていきます。
これらの学習を行うことで、CycleGANは2個の生成器を学習して、どちら側からも変換を行うことができるようになります。
