CNNのReceptive field（受容野）を可視するWebアプリを作った

CNNまるでわからん，jojonkiです．CNNを扱う上でReceptive field（受容野）を正しく認識することは，CNNを設計するにあたって非常に重要です（ということを最近認識しました）．モデルの表現力が足りない，そんなときReceptive fieldを確認してみるのもよいでしょう．

ただ多段のCNNで組まれたプログラムを見てもReceptive fieldが直感的にわかるには私には経験不足，ということで可視化するツールをWebアプリをGithub pagesで作ってみました． １次元CNNのカーネル，ストライド，パディング，ディレーションを指定して可視化できます．最後段のレイヤーの注目データ（赤色のブロック）から最初の入力データに矢印をたどっている色を塗っている領域がReceptive fieldです．Receptive fieldを大きくするためには，カーネルサイズを大きくしても良いですが，計算量が増えるのでストライドやディレーションを挟むことで非常に大きなReceptive fieldを得ることができます．

Visualizing Receptive Field

// コードも公開しているので何かバグを発見した方はissueでご連絡いただけると嬉しいです．

---

---

作るにあたって参考にしたページ（興味のある人向け）

Receptive fieldの理解には視覚的な理解が大事だと思うのですが，あまり視覚的に説明してくれるサイトは多くありません（だってビジュアル作るの面倒ですもんね）．ただ下記のサイトはReceptive fieldを自分の設計したCNNに応じて可視化してくれます．私が作ったページでも大いに参考にさせていただきました．Receptive fieldの計算だけならこのページだけで良いのですが，CNN越しのビジュアルイメージも欲しかったので今回のものを作りました．

Receptive Field Calculator, Fomoro AI

そもそもCNNや先程でてきた用語がよくわかない？という方はこちらのCNNの解説が参考になると思います．アニメーションもあり素敵です． github.com

Receptive fieldの勉強に関しては，Googleエンジニアの方のブログで勉強にしました．こちらもよく引用されています． もとの系列データのサイズに合わせて可視化することでReceptive fieldがわかりやすくなっています．Receptive fieldの計算式に関しては覚えるものではないので，手元で図を書きながら納得感を持って導けるとよいです．式の導出イメージは人によって違うと思うので自分なりの解釈で良いと思います．またこのブログはディレーションを考慮していないのですが，Receptive field計算式の第２項（前レイヤーのReceptive field両側に対する計算）にディレーションを乗算すれば実現できます（jojonkiの該当コード）． medium.com

下記はReceptive fieldの話ではないのですが，Checkerboard Artifactsという問題を可視化しているページです．カーネルやストライドを変えることでこの現象が発生する様子を可視化できるツールで非常に素晴らしいです． distill.pub

PCAとLDA

PCA (Principal Component Analysis) と LDA (Linear Discriminant Analysis)について，目的関数の導出やpythonで自力で書いたりしたものをまとめたので公開します． 結構丁寧に書いたつもりです．

github.com

参考文献

• 線形判別分析 | 線形判別分析を利用した次元削減

• 多変量解析入門――線形から非線形へ

M5StackでLINE連携型のCO2センサー

はじめに

在宅勤務も長くなり部屋の換気もサボりがちでCO2センサーを買おうかなと思ったら，怪しい商品しかAmazonで見つけられず．それなら自分でM5Stackで作ってみようかなと思いました．久しぶりの電気工作．以前に話題になってて乗り遅れましたが，今更Join．Arduinoと同じ要領で開発できるのに加えて，ディスプレイ，WiFi，Bluetooth，SDカードスロットが標準搭載！Arduinoでこれをやろうとすると色々キットを購入したり自分で配線したりと大変なので，だいぶ楽になったもんです．人気なのも頷けます．

作ったものはCO2センサーとして屋内で動かし，不快指数に達したらLINEで通知する，という感じです． CO2濃度が高くなったら画面を黄色くして，LINEに自動で通知，という風にしました． 通知方法は，IFTTTで設定したWebhookにCO2の値をPOSTで送り，LINE通知を使います．LINE通知アカウントができるので，グループに入れて家族と共有することも可能です．

用意するもの

バッテリーモジュールは必要であれば．プロトボードも配線を外に出す場合は不要です．

M5Stack ESP32 Mpu6886+BMM150 9Axiesモーションセンサーコア開発キットArduino用の拡張可能なIoT開発ボード

CJMCU-811 CCS811一酸化炭素co voc空気品質数値ガスセンサーモジュール

ZOYOSIPR0T0バスモジュールESP32 IoT開発ボード、2 * 15ピンバスソケットスタッカブルデモボードプロトボードM5Stack for -公式のボードで動作する製品

M5stack ESP32バッテリー 700 mAh M5stack Battery A r d u i n o 用 教育のための電子DIY

www.switch-science.com

IFTTT (Webhook -> LINE通知)

特定のアドレスにHTTP POSTすると，LINEに通知を届くようにしておきます．設定方法等は，Webに大量に転がっているので省略します．設定したら生成されたURLをメモしておきます．

配線

配線はシリアル通信用のSCL, SDAと電源及びGNDの4本をつなぐだけです．配線はこちらの方の記事を参考にしました． cami.jp

私はブロック内に配線を隠したかったので，プロトボードにはんだ付けしました．適当なジャンパーで繋ぎます．いまいちプロトボードの使い方わからずむりやり．

コード

M5Stackのソフトウェアはそれなりに大きいのでArduino IDEでは，コンパイル及び転送がめちゃくちゃ遅いです．私のMacbook Pro環境で1回3分ぐらいかかります．ぐぐったところPlatformIOを使うと早くなるということで，VS Code + Platform IO拡張で試したところ30秒もかからなくなりました．すごい．シリアルモニターも使えるし，VS Codeでコードのフォーマットとかも効くのでArduino IDEを使う理由はもうないですね．

コードはこちら．あまりPlatformIOの使い方を分かっていませんが，プロジェクトを作ると main.cpp ができており，これにコードを書くようです．またWiFiのSSID，パスワード，IFTTTのURLは，あらかじめSDカード内のテキストファイルに記載しておくことで，コード上のハードコードを避けました．まぁこれはこれで危ないけど． github.com

参考

こちらのサイトの情報を参考にさせて頂きました．CO2に関しては1500ppmを下回ってたほうが良さそうですね．

github.com CCS811 CO2 VOC センサーを制御

まとめ＆要調査

エージング等必要なもようでCO2が正しい値を取れているかはまだ実験中．本当は気温や湿度をフィードバックしたほうが良いらしいけど，この辺も含めて調査中．とはいっても正解となるCO2センサーを買ったら元も子もないような汗．

torch.nn.ConvTransposeの可視化

アップサンプリングなどで使われるConvTransposeについて，イマイチ理解できていなかったように思えるので可視化した． Convolutionといえば，conv_arithmeticのGIFが分かりやすいが，ConvTransposeに関しては，通常のConvolutionのように見え，strideやpaddingが通常のConv時とどう違うのか分かりにくいように感じたので，How PyTorch Transposed Convs1D Workを参考に書いてみた．

可視化

これがその図である．Convを逆順にたどるとConvTranposeになっているのがわかると思う． ConvTranpose時のpaddingがやや分かりにくいかもしれないが，どんだけはみ出して始めるか？（はみ出た分は後で捨てる），という考えで見ると分かりやすいかもしれない．

• 単純化のためバッチサイズ及びチャンネル数は1，畳み込み時のチャンネル出力も1に固定．
• データの流れがわかりやすくなるので，入力データ及びカーネルの値はすべて1に固定．
• 今回1dだが，2dでも同様．

コード

この図をpytorchで書くとこうなる．

import torch
import torch.nn as nn

x = torch.ones(1,1,6)

enc = nn.Conv1d(1,1,kernel_size=3,padding=2,stride=3,bias=False)
enc.weight.data = torch.ones(1, 1, 3)
dec = nn.ConvTranspose1d(1,1,kernel_size=3,padding=1,stride=2,bias=False)
dec.weight.data = torch.ones(1, 1, 3)

enc(x)
h = enc(x) # shape: (1, 1, 3), data: [[[1,3,2]]]
print('h:', h)
out = dec(h) # shape: (1, 1, 5), data: [[[1,4,3,5,2]]]
print('out:', out)

参考

medium.com

• ConvTranspose1d — PyTorch 1.7.0 documentation
• ConvTranspose2d — PyTorch 1.7.0 documentation

// ちなみに畳み込み全然初心者なので嘘ついてたら教えて下さい．

2020年にやってよかった教材（機械学習関連の入門多め）

今年は仕事内容も変わって，いろいろなものを勉強した気がします．ということで買ってよかったもの，とは別に．やってよかった教材（書籍，オンライン教材，ブログ等）を紹介しようと思います．入門系多めです．

Andrew Ng先生

今年はAndrew Ng（アンドリュー・エング）先生の大ファンになりました．Twitter界隈でまずNg先生のCourseraやCS229をやれ，という話は時折上がってくるので見てみたらハマりました．私は2017年ぐらいからNLPを始めて，機械学習の知識は必要に応じて勉強していたので，体系だってあまり学んで来ませんでした（高村先生の機械学習入門ぐらい）． そこでゼロから勉強し直そうと思い，Andrew Ng先生の教材をやってみました．

結論から言うと非常に良かったです．これから機械学習始めたいという方に特にオススメ，というかこれ以外から始めない方が良いかも，と強く言いたいぐらい良かったです．いきなりDNNに飛びついてしまう人も最近は多いのかなと思うのですが，ここでロジスティック回帰や評価の仕方などしっかり学んだほうがよいです．授業では各項目に対して深入りするわけではないですが，考え方のエッセンスのようなものをAndrew Ng先生がわかりやすく説明してくれます．これがこの授業の最大の魅力です． Courseraには確認テストがあって，選択・記入式のチェックテストとOctaveによる実装テストがあります．どちらもそんなに難しくないので，良い復習になると思います．え，Octave？と思うかもしれませんが，OctaveはPythonやMatlabの文法に馴染みがあれば，ちょっとしたチュートリアルもあるので問題になりません．実装もロジックの部分だけ実装する形式なので，Octaveの言語に精通している必要はまったくありません． コースは11週と長く見えますが，まったくの初心者でなければ授業は1.5倍速ぐらいで，1ヶ月ぐらいで終わると思います．授業は英語ですが，リスニングに自信がなくても板書がしっかりしてるので十分ついていけると思います．日英の字幕もあります．非常に有名な授業なので，修了証の権利も購入してLinkedinに貼るつもりでやると，モチベーションも続くかもしれません．

www.coursera.org

この授業の後は，CS229というスタンフォードでの授業を見てみました．Youtubeで2018年度に行われたものが今年4月に無料で公開されています．Courseraの授業は完全に入門編でしたが，こちらは入門ではありますが，範囲をやや広げ（EMアルゴリズム，強化学習等），数式的な踏み込みもかなりしています．こちらはシラバスを見てもらえればわかりますが，動画での授業だけでなく，多くのLecture NotesがPDFとしてまとまっています．動画中での導出は時間上カットしてたりするのですが，ちゃんとその導出などもLecture Notesに書いています．シラバス上はリンク切れの資料も多いのですが，世界中で人気の授業なのでGithubなどで探せばいくらでも関連資料は出てきます．またこの授業のテストもあって，Problem Setsというのがあります．こちらもネットを探せば，元の課題が転がっているので挑戦してみても良いかもしれません．が，結構重たかったので，私は動画→Lecture Note読む，で先に進んじゃいました． www.youtube.com

また本授業を担当したTAの方が俯瞰図を作っているので，どのあたり勉強できそうか眺めても面白いです． github.com

機械学習の入門が終わったら，DNNやNLPなどを勉強しても面白いかもしれません．同じStanfordでの授業はいっぱい転がっているので，自分にあったものをやると楽しそうです．

Stanford CS230: Deep Learning | Autumn 2018 | Lecture 1 - Class Introduction and Logistics - YouTube

Stanford CS224N: NLP with Deep Learning | Winter 2019 | Lecture 1 – Introduction and Word Vectors - YouTube

NLPだとCMUのGraham Neubig先生も毎年授業を即公開しており，最新の論文のキャッチアップもできて良いですね．

Graham Neubig - YouTube

線形代数

色々論文などを読む上で線形代数の基礎力がまったく足りてないなと反省し，色々線形代数もあさりました．

こちらもCourseraであった線形代数の授業です．こちらも演習とセットになっていて，短いのでよいです．

www.coursera.org

またヨビノリシリーズも良かったです．書籍は動画と基本的に同じなので，動画を見た後に書籍を見ると良い復習になります．

www.youtube.com

予備校のノリで学ぶ線形代数

音声信号処理

今年はNLPだけでなく，音声系の内容にも手を出しました．といっても大学以来，まったくやってこなかったので基礎の基礎から色々勉強しましたが，中でも良かったものを紹介します．

まず東北大の鏡先生のディジタル信号処理はかなり良かったです．会話形で進むタイプなので，疑問に思いやすい点などしっかりとやる夫が突っ込んでくれて面白かったです．これで完全に忘れていたフーリエ系の扱いを大学時代以上に思い出せました． www.ic.is.tohoku.ac.jp

あとは本もいくつか買いましたが，サクッと入門系だとこの辺がわかりやすかったです．やる夫シリーズはFFTの解説があえてないのですが，この本はFFTの解説（というか計算）がわかりやすかったです．

道具としてのフーリエ解析

またどうしても信号処理を扱う上で，複素数は外せないところなので，これも読みました．こういうシリーズはイラストで安心感を装い，中身はあまり...という場合が多いのですが，これは良書だと思いました．ちなみに漫画部分も普通に面白かったです笑

マンガでわかる虚数・複素数

次にプログラミングでデジタル信号処理できないとまずいので，こちらも一通りやりました．実際に音声ファイルを読み込んで周波数解析をして可視化して，という一連の流れをサクッと学べます． aidiary.hatenablog.com

また，音声を扱う上で，人の聴覚や発声の仕組みも知りたくなりました．デジタル信号処理は音声とは限らないので，このあたりの情報はあまり載っていません．そこで良い書籍ないかなといろいろ探していましたが，この本は非常に読み物としても面白かったです．音声系の教科書，堅苦しい（失礼）のが多いんですが，これは読みやすい上にタメになる知識が多かったので，また読みたいところ．目次見て面白そうと思ったら買いでしょう．

ゼロからはじめる音響学 (KS理工学専門書)

プログラミング

これずっと前に購入して積んでいたので読んでみたのですが，アルゴリズムの勉強を初めてするときなどに読んでおきたかったです．大学時代にアルゴリズムの授業というとまったく楽しめなかったので，こういった実用的にアルゴリズムがどこで活躍しているか分かる本に出会いたかった．

世界でもっとも強力な9のアルゴリズム

またけんちょんさんの本も買っていて，冬休み時間が取れたのでやってみました．競プロをやる上で，アルゴリズムの勉強をする→AtCoderで実力を試す，など考えられますが，体系的にアルゴリズムを俯瞰して勉強でき，更に実装にも踏み込んだ入門書はこれまでなかったように感じるので新鮮でした．入門〜緑ぐらいの人向けのイメージです．アルゴリズム何も知らんという人は，アルゴリズム図鑑から入ったほうが良いかもしれないです．

問題解決力を鍛える！アルゴリズムとデータ構造 (ＫＳ情報科学専門書)

アルゴリズム図鑑 絵で見てわかる26のアルゴリズム

Youtuber

最後にYoutubeで見つけた良いチャンネルです．CS229しかりでYoutubeに良い教材が大量にあふれる良い時代になりました．論文の解説などもあったりするので，本当にYoutubeよく見るようになりました． ということで登録しておいて面白い動画がよく流れてくるチャンネルを共有しておきます．

www.youtube.com

www.youtube.com

www.youtube.com

良いお年を！