The jonki

呼ばれて飛び出てじょじょじょじょーんき

イラストで分かるNetwork Simplex

先日, 0x-seminar - [0x03] 最適輸送の情報科学における進展 というセミナーがあり,最適輸送について熱い2日があったらしいです.私はセミナーの存在を知らず,後からスライドを見ました. 1日目の資料は横井さんの資料で,そもそも最適輸送ってなんなの?…

CNNのReceptive field(受容野)を可視するWebアプリを作った

CNNまるでわからん,jojonkiです.CNNを扱う上でReceptive field(受容野)を正しく認識することは,CNNを設計するにあたって非常に重要です(ということを最近認識しました).モデルの表現力が足りない,そんなときReceptive fieldを確認してみるのもよい…

PCAとLDA

PCA (Principal Component Analysis) と LDA (Linear Discriminant Analysis)について,目的関数の導出やpythonで自力で書いたりしたものをまとめたので公開します. 結構丁寧に書いたつもりです. github.com 参考文献 線形判別分析 | 線形判別分析を利用し…

M5StackでLINE連携型のCO2センサー

はじめに 在宅勤務も長くなり部屋の換気もサボりがちでCO2センサーを買おうかなと思ったら,怪しい商品しかAmazonで見つけられず.それなら自分でM5Stackで作ってみようかなと思いました.久しぶりの電気工作.以前に話題になってて乗り遅れましたが,今更Jo…

torch.nn.ConvTransposeの可視化

アップサンプリングなどで使われるConvTransposeについて,イマイチ理解できていなかったように思えるので可視化した. Convolutionといえば,conv_arithmeticのGIFが分かりやすいが,ConvTransposeに関しては,通常のConvolutionのように見え,strideやpadd…

2020年にやってよかった教材(機械学習関連の入門多め)

今年は仕事内容も変わって,いろいろなものを勉強した気がします.ということで買ってよかったもの,とは別に.やってよかった教材(書籍,オンライン教材,ブログ等)を紹介しようと思います.入門系多めです. Andrew Ng先生 今年はAndrew Ng(アンドリュ…

2020年に買ってよかったもの(日用品編・ガジェット編)

今年も振り返りしようと思います.今年は2年近くやっていたPodcastを休止し,ブログもなかなか書けませんでした.忙しかったというよりは,仕事で色々と新しい環境をエンジョイしていたので,なかなかprivateでアウトプットする場がなかったですね. 今年は…

pudbをもっともっと活用する

以前,pudbの記事を書きましたが,あの時より更に使うようになっていたので,更に色々と便利な機能を紹介したいと思います. pudb?という方は下記の記事をまず御覧ください.今回は発展編ですが,前回の記事の続きというだけで,別に難しいことはありません…

EMアルゴリズムの勉強メモ

もう何度となく勉強しているであろうEMアルゴリズム,いい加減忘れっぽい正確なので勉強ノートを取った. EMアルゴリズムがどのようなものか,北先生の確率的言語モデルの教科書を使ってノートを取っています.この本はとても良いので,この本を読んで頂くの…

Seq2seqモデルのBeam Search Decoding (Pytorch)

この記事では,Pytorchで作ったseq2seq型の翻訳モデルを使って,ビームサーチによるデコーディングをします. OpenNMTやfairseqを使えば簡単に利用できるのですが,ビームサーチのためだけにこのようなフレームワークを使うのはちょっとなぁ,ということと,…

direnvでanacondaの環境を自動で切り替える

tmuxとanacondaを私は使っているのですが,tmuxのpaneをスプリットしたときなど,anacondaの環境がbaseに毎度戻るのが嫌で色々方法を調べてました. やりたいことは,現在のpaneでアクティブなcondaの環境をtmuxにも引き継いで欲しい,ということです. ただ…

HMMとCRFの理解を整理した

系列データに対するDNN以前の技術として,HMMとCRFがある.しかし改めてこれらの技術を前にすると,それぞれの理解が怪しかったので,高村先生の名著をもう一度読んで復習した. 言語処理のための機械学習入門 (自然言語処理シリーズ)作者:高村 大也発売日: …

PU Learningについて勉強した

何がきっかけかは覚えていないのだが,Positive and Unlabeled Learningという学習方法があり,勉強したのでまとめた. 論文はこちら.2008年とやや古い.現時点での被引用数は606となっていた. Learning Classifiers from Only Positive and Unlabeled Dat…

2019年に買ってよかったもの(日用品編・技術書編・ガジェット編・漫画編)

今年もこの時期が来ました.総決算です.今年は日用品編・技術書編・ガジェット編・漫画編の4段階です. www.jonki.net 日用品編 カモミール・ティー.これはずっと飲んでます.コーヒーは1日に1,2杯にしているので,基本的にはずっとこれ飲んでます.…

arXivのComments情報をFeedlyに挿入するChrome拡張作った

タイトル下の緑色の文が挿入されたComments arXivのRSSを私はFeedlyで消費しています.しかし,arXivのRSSには論文のCommentsフィールドが含まれていないので,"Accepted at ACL2020!"みたいな情報がRSSリーダー上で取得できません.そのため実際にそのペー…

そうか,君はアメリカから帰って1年になるんだね

SLTでの発表で訪れたアテネを訪れたときのパルテノン神殿 この記事は,研究留学 Advent Calendar 2019 - Adventar 15日目の記事です. 昨日はKo Watanabeさんの研究留学アドベントカレンダー【14日目】|渡邉 洸(Ko Watanabe)|noteでした. 私は,カーネ…

ヘッドレス環境でもplotlyでpng書き出ししたい

Pythonでグラフを書くとき,Plotlyを私はよく使います.別にmatplotでもいいんですが,scatterの図でWebブラウザ上で,インタラクティブに各ポイントにラベルを確かめられる機能が気に入ってます. plot.ly ただし私の揮発環境はGUIを入れないヘッドレスな環…

ゼロから作った形態素解析器Taiyakiで学ぶ形態素解析

本記事は,自然言語処理 Advent Calendar 2019 - Qiitaの1日目の記事です. はじめに 今回の記事では,去年末ごろからPythonとCythonだけでチマチマ作った形態素解析器Taiyakiをベースに,形態素解析器の解説をしようかなと思います.この形態素解析器の完…

macOS CatalinaでKarabiner-Elementsを動かす

macOS Catalinaのpublic betaを入れたらKarabiner-Elementsが動かなくなったのでメモ.基本的には公式対応を待った方が良いが,もうアップデートしてしまった方は下記issueをウォッチしておくのをオススメする.今回は本日7/3時点でのワークアラウンドを説明…

NMAX 155にUSB電源をつける

今回は珍しくバイクの改造ブログです.最近NMAX 155(2018)を買ったので,それにUSB電源を付けてみました.もう多くの方がやっていると思いますが,参考になる写真はいくつ合っても良いと思うので書いてみます. またこの記事を参考にして行う作業は自己責…

NAACL 2019のBest Paper Awardsを一人で読み会

NAACL 2019のBest Paper Awardsが公開されていましたので,1件を除いた*1ペーパーをLeading NLP Ninjaで解説しました. Best Long Paper BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding anchor.fm Best Short Paper Pr…

ギブスサンプリング入門

前回2次元のガウス分布を条件付き確率により得られた1次元ガウス分布から推定する記事を書きましたが,今回はもっと単純な例で説明します. www.jonki.net というのもGraham先生のチュートリアル資料(トピックモデル)にかなり分かりやすい例があったので…

2次元ガウス分布をギブスサンプリングする

2019/5/3 更新 ギブスサンプリングの簡単な例題を説明した記事を書いたので,こちらを先に見たほうが理解が進むかもしれません. www.jonki.net ベイズ推論を勉強中に,サンプリングの1つ,ギブスサンプリングが出てきてよく分からず色々調べていたのだけど…

月次目標のおすすめ

はじめに 今回は大した記事じゃないんですが,月単位の目標を予め月初以前に作っていたらなかなか良かったという話です. もともとはRebuild.fmによく出てるhigeponさんが,何らかの目標を毎月立てて,あとで振り返りをしてるという話を聞いたことからなんで…

2018年に買ってよかったもの(日用品とガジェット)

今年も色々なことがあり,いろいろ言い訳を立てて色々買いました.今年買ってよかったものを振り返ります. 日用品 折りたたみ傘 90gとアホみたいに軽いです.2回ほど使いましたが問題なく使えます.常に持ち歩きもできるレベルの軽さなので重宝しています.…

arXiv論文のためのChrome拡張を作った

皆さんはarXivの論文を読んでまとめようとするとき,どうやってその論文情報をEvernoteなりOneNoteなりに書いていますか?私はいちいちコピペしていたのですが,arXivは更新頻度が高いので面倒だなと思い,Chromeの拡張を作って単純作業は自動化しました. …

一人語りのポッドキャスト.良い音作りのために必要な作業.

おかげさまでポッドキャストLeading NLP Ninjaの配信も約4ヶ月で16回に到達しました.テーマがニッチなのでこれだけの人に聞いて頂けるとは思ってもいませんでした.今回の記事では,私のポッドキャストの録音や編集環境について説明したいと思います.と…

NLPの論文を解説するポッドキャストを始めた

先月からNLP(Natural Language Processing),自然言語処理に関する最近の論文を紹介するポッドキャストをはじめました. Leading NLP Ninja • A podcast on Anchor 経緯 私はポッドキャストが好きで,特にテック系のポッドキャストをよく聞いていました.…

カーネギーメロン大学で客員研究員してきた話

2017年8月から2018年9月の頭まで,約1年間,Carnegie Mellon University (CMU)のLanguage Technologies Institute (LTI)で客員研究員をしてきた.博士号も持っておらず,大学では別の研究としていた私が,どのような留学してきたが,記憶が新鮮な…

pudbで機械学習開発を加速させる

皆さん,pythonで機械学習のコードを書くときに,どのような環境で実装してますか?私は師匠もおらず,自分なりにいろいろ試していたところpudbに落ち着きました.pudbはデバッガーでpdbにUIが付いたようなものになります.pdbはC++でいうgdbみたいなもんで…