The jonki

呼ばれて飛び出てじょじょじょじょーんき

正規分布間のKLダイバージェンス

皆さん大好きなVariational Auto Encoderですが,目的関数に再構築ロスとKLダイバージェンスによる正則化項を使っています.原論文のAppendix Bで,正規分布間のKLダイバージェンスの導出をしていますが,途中式が省かれていてよく分かりません.ということで勉強がてら自分でも計算してみました.

参考にしたのはこちら様のサイト.一次元の正規分布間と多変量正規分布間のKLダイバージェンスを求めています.多変量正規分布間の計算は,難しくはないですが,式が複雑なのでとりあえず一次を手計算で導出できたらへぇ,っと眺めて最後のところ見れば良いと思います.
sucrose.hatenablog.com


では,肝心のVAE論文のAppendix Bの導出をします.導出はこちらのPDFに書き出したので御覧ください.(すみません,はてなの記事で書いても良かったのですが,sharelatexで書いてしまいました)
github.com