2022-01-10

MacBook Pro（M1 Pro）とColab Proでディープラーニング

はじめに

年末年始に少し時間があったので，趣味で書いているコードを動かすGPUのインスタンスについて調べていました．以前はちゃんとGPU持っていたのですが，あまり使っていなかったので全部売っていました．買い直しも検討しましたが，未だにGPUは高いですし，我が家の冬は暖房等の使いすぎでブレーカーがよく落ちるので，何か適当なクラウドサービスを使おうかなと思っていました． AWSの安いGPU インスタンスであれば1時間100円ぐらいなので悪くはなさそうでしたが，時間課金はソワソワしちゃうので辞めました．そこで日本でも使えるようになった月額1000円程度のColab Proを使い始めました．

この記事ではMacbook Pro (M1 Pro)とColab Proを使ったディープラーニングの開発に関して，そのワークフロー，ベンチマーク，Tipsを簡単にまとめたので共有します． Colabはこれまで簡単なpythonのコードチェックぐらいでしか使ったことないですが，今回本格的に使い始めたので共有します．もっといい方法あるよ！という方はぜひコメント下さい．

Colab Proについて

Colab Proは最近日本で使えるようになったGoogleのサービスです．詳しくは下記の記事が詳しいです．月1000円程度で通常のColabよりGPU インスタンスが長く使えるのが特徴です．Pro+にすればGPUがP100からV100と更に良くなり（RAMは16GB → 32GB！），バックグラウンド実行もできるようになります，月5000円ぐらいかかるので本格的な人向けです．

atmarkit.itmedia.co.jp

ベンチマーク（M1 Pro vs Colab vs Colab Pro）

結局一番気になるのは学習速度．実はM1 Pro，素のColab (K80)より早いやんという話もあり調べてみました．ちなみに私のM1 ProはM1 Proの中でも最弱です（コア数という意味で）． Colab上で試したのはTPUでなくGPU インスタンスです．計測のためのコードはpytorchの公式例をそのまま使い，MNISTの分類と言語モデルを試しました．Linear, CNN, RNN系のコードです．計測では1つのミニバッチの処理時間をまとめてみました．M1 Pro比でどれぐらい早いかカッコ内に書いてあります．

モデル	M1 Pro (8 cores)	Colab (Tesla K80, 12GB)	Colab Pro (Tesla P100, 16GB)
MNIST, batch_size=64	0.028s	0.007s (4x)	0.003 s (9.3x)
LM (RNN, batch_size=20)	0.113s	0.006s (18.8x)	0.003s (37.7x)
LM (RNN, batch_size=100)	0.449s	0.162s (2.8x)	0.044s (10.2x)
LM (Transformer, batch_size=20)	0.103s	0.009s (11.4x)	0.005s (20.6x)
LM (Transformer, batch_size=100)	0.432s	0.160s (2.7x)	0.044s (9.8x)

M1 Proはこの中だと一番遅いですが，意外と早いですね．本格的な学習には厳しいですが，動作確認程度なら全然問題なさそうです．K80はM1 Proより遅いと思っていましたが，意外と奮闘していますね．P100はちゃんと早いですね．P100は2080Tiにやや劣るぐらいのFLOPSだけどメモリは多い，というものなのでなかなか悪くないと思います．RAM 16GBというのは中々絶妙で昨今では10GBぐらいでは足りないケースも増えてきたので16GBはありがたいです．これぐらいメモリが載ってるものってコンシューマー向けには3090とかになってしまうので中々手が出ません．一方でColab Proは実行制約等があるものの，電気代気にせず1000円というのは趣味用途では全然ありだと思いました．まず素のColabで運用して物足りなくなったらProにするというのもアリだと思います．

他ベンチマーク等についてはこちらもご覧ください．

開発構成について

次はColab Proを使った際の開発構成の紹介です．以下のようにして落ち着きました．Colab上では学習したモデル等のデータは自分で保存する必要があるため，Google Driveとの連携は必須です．またノートブック上で本格的なコーディングはかなり辛いので，Google Drive上でコードを管理し（github），通常時はローカルのマシン（Macbook Pro）上でVisual Studio Codeで開発，というのが良さそうでした．

Google Drive上を作業スペースとし，ここに自分のプロジェクトをgit cloneする．
通常開発時はMacbook Pro上で作業し，学習コードがちゃんと動くかM1 Proでチェック（私はVisual Studio Code使ってます）．
学習を本格的に開始する段階で，Colab ProでGPUランタイムのノートブックを作成する．
Colabのノートブック上でGoogle Driveをマウントし，プロジェクトディレクトリにchange directoryする．
Colab上で学習を開始する．（例：! python train.py）
tensorboard等を使っている場合は，ノートブック上でtensorboardを使うか，ローカル側で自分でtensorboardのサーバーを立ち上げる．Google Drive上で作業しているのでログもsyncしており，ローカルでtensorboard立てられる（私はこれ）．
コードに修正があれば，手順2に戻る．

開発Tipsについて

いくつか覚えていて損がないことを書いておきます．

Google Driveのマウント

これはGUIとプログラムの２通りでマウントできます．GUIから行く場合は，左のサイドメニューのフォルダアイコンをクリックしてから辿れます．プログラムから行く場合は下記のような形でいけます．

from google.colab import drive
from pathlib import Path

def mount_drive():
    drive_path = Path('/content/drive')
    if not drive_path.exists():
        drive.mount(str(drive_path))

mount_drive()

Githubからprivateなリポジトリをcloneする

GithubのPersonal Access Tokensを使えば，自分のprivateリポジトリであっても簡単にcloneできます． Githubのページで Settings → Developer settings → Personal access tokens で full control of private repository なトークンを生成しておきます． Creating a personal access token も参考にしてください．

そしてノートブック上で以下のようにしてcloneできます．簡単ですね．

import os
os.chdir('<your_work_space>')
%env TOKEN=<YOUR_TOKEN>
!git clone https://$$TOKEN@github.com/<user_name>/<repo_name>.git

実行環境がColab上かどうか判定する

これはローカルでの開発とノートブック上での開発で処理を切り替えたいときに便利です．

import sys
is_colab = 'google.colab' in sys.modules

ローカルとノートブック上でのファイル同期について

基本はGoogle Drive上で作業しているので，ファイルは勝手に同期されます．ただ手元で編集してすぐに反映，というわけにはいかないです．感覚的なものですが，数分ぐらいラグがある気がします．また同期されているつもりでノートブック上で実行したところ，古いコードが動いていた，ということもあるのでノートブック上でのコード確認は重要です．ただ結構面倒なので変更はすべてgit commit & pushしておき，ノートブック上ででgit pullしてから実行するようにした方が便利です．

Terminalどう？

Colab Proの目玉機能の1つではあると思うのですが，遅延が結構ひどく，インスタンスが再生成される度にルートディレクトリにcdしてしまい，正直使い勝手はよくないです．psやnvidia-smiなどのプロファイル系のコマンド実行には良いかもしれませんが，思ったより使わないです．デフォルトでtmuxが動くのは良いのですけどね．重要な処理やノートブックのセル上で書いたほうが確実に実行できます．

ノートブックはターミナルのように利用する

ノートブック上でのpythonコードもかけるのですが，基本的に私は書いていないです．普通に.pyをVisual Studio Codeでコーディングしておき，ノートブック上はひたすらgit，前処理，学習の実行といった適当なファイルの実行を行っています．データ分析等の可視化をする場合は便利だとは思います．

自動接続

これはabuse感あるのですが，よくあるTipsとして紹介されています．ブラウザのDeveloper consoleを開き，以下のように再接続ボタンを継続的に押すようにスクリプトを仕掛けておきます．

function KeepClicking(){
    console.log("Clicking");
    document.querySelector("colab-connect-button").click() }
setInterval(KeepClicking,60000)

実行時間と再学習について

Colab Proでは最大実行時間は無料プランの倍の24時間になっていますが，通常のColabを常用していた訳ではないので体感的に伸びているかはよく分かりません．基本的には寝る前，起きたとき，午後，でノートブックをチェックして実行が止まっていたらノートブックのセルをRun allする感じです．特定のディレクトリの最新チェックポイントを自動でresumeするようなコードにしておくのが良いと思います（例： python trainer.py --resume ./your_exp_dir）．ただ面倒であることは変わりないので，ある程度学習がうまくいくことが分かっている場合は，AWS等で専用のGPU インスタンスを立てても良いかなと思います．

まとめ

M1 ProとColab Proを使ったディープラーニング開発についてまとめました．Colab Proを単純なGPU インスタンス的に扱う，という用途でも使い物になりそうです．趣味でこれは結構良いと思いました．自前のGPUを使う場合，そのためのマシンを用意する必要がありますし，電気代も場所も取ります．GPUもそもそも毎年新しいものが出てくるので，サブスク性や従量課金制の方が今どきは良いなと思いました（もちろん用途によります）．そういう意味ではColab Proはランチ1回分と考えるとかなりお買い得だと思いました．またM1 Proがまぁまぁ早いのも想定外でした．このMacbookで本格的な開発をする予定はなかったのですが，これならM1 Pro Maxを視野に入れてよかったなとちょっとだけ思いました．

2021-12-30

2021年にやってよかった技術書（数学，機械学習関連）と読書習慣について

今年もこの季節... www.jonki.net

今年は子供も生まれて本を読む時間もないか...と思いましたが，時間的制約が加わることでむしろ例年より読んだかなという気がします（それでも多くはないんですが）．でも継続的に読むという習慣はできた気がします．

個人的に良かった読書習慣のコツ

ちょっとずつで良いので毎日同じ本を読む（ただし体調不良のときはちゃんと休む）．
読むページ数は安定している方が良い（一気に読もうとしない．ページ数は本の難易度に合わせて調整すれば良い）．
習慣記録系のアプリを使わない．連続読書記録を作ることが目標でないし，記録が切れると燃え尽きて戻れない可能性がある．
同時に読む本は1冊で良い．増やすならいずれもバランス良く読む．
紙媒体で読んだほうが読み進めるほどに達成感が増して良い．
本の評価が高くても自分に合わないと感じたら無理せず諦める（大丈夫，他にも良い本はいっぱいある）．

以下いくつか読んだ中でおすすめしたい本だけ紹介します．正直ほとんど有名な本なので特に新しい情報はないですが．

ストラング：線形代数イントロダクション + MIT 18.06 Linear Algebra, Spring 2005

線形代数まるでわからん状態が続いていたので，色々読み漁った結果これが良いと判断しました．巷には色々教材が溢れていますが，小手先の計算テクニックとかでなく，体系的に学ぼうとするならこのGilbert Strang先生のMITの授業が無料で公開されていて内容は素晴らしいと思います．ちなみに第1回の講義は87万回再生されていて，一番少ない回でも5万回程度あるので数万人が通しで見ているんだと思います．動画見て頂くと分かるんですが，Andrew Ng先生とはまた異なる形で引き込まれる授業です．具体的な事例に対して自問自答して解き明かしていく形でかなり分かりやすいです．英語も字幕が丁寧についていますし，先生の英語はかなり聞き取りやすいです．ちなみに書籍の方は600ページを超える鈍器なのですが，一般的な数学の教科書というよりは，授業のライブ感をうまく書籍に対応させたものになっています．動画をいくつか見る→本の対応するところを見る，という形で進めていくと読みやすいと思います．部分空間に対する重きの置き方など，この授業はよくある線形代数の教え方とは異なる視点で授業を展開している気がします．なので書籍だけを読んで勉強する場合は若干とっつきづらいかもしれません．ただ翻訳書にありがちな直訳英語は特に感じず，脳内でストラング先生が喋ってる声が聞こえるぐらい邦版は素晴らしい出来だと思います．また100ページ以上は問題演習なのも面白いです．個人的には全部やりたいと思いつつ，まじめに100％読もうとして途中で頓挫するのも嫌だったので，練習問題は飛ばして例題までにして読むようにしました．かなり分厚い本ですが，見た目ほど苦労はせず読める本だと思います．

世界標準MIT教科書ストラング：線形代数イントロダクション

はじめに

Colab Proについて

ベンチマーク（M1 Pro vs Colab vs Colab Pro）

開発構成について

開発Tipsについて

まとめ

個人的に良かった読書習慣のコツ

ストラング：線形代数イントロダクション + MIT 18.06 Linear Algebra, Spring 2005

これなら分かる最適化数学，金谷健一

これなら分かる応用数学教室，金谷健一

情報理論のエッセンス，平田廣則

続・わかりやすいパターン認識―教師なし学習入門―，石井 健一郎, 上田 修功

まとめ

在宅勤務のお供

日用品

ガジェット

コンピュータの仕組み

プログラミング

他

購入

HHKBとの比較

Keychron K2の方が良いと思った点（良いと思った順）

HHKB の方が良いと思った点

人によって好みは分かれると思った点

Keychronの残念だったところ

まとめ

続・わかりやすいパターン認識―教師なし学習入門―，石井健一郎, 上田修功