ものすごく久しぶりの更新になる． 前回の更新が 2019-11-07 なのでほぼ半年ぶり． NLPの新鋭研究者である ruder氏 によるブログポストに触発され， 文を書きたくなったので，またすぐ飽きてしまうかもしれないが，ここでの日記の更新を再開してみようと思う．

ruder氏 もそうだが，他にも自分の尊敬する首都大の小町先生 (お会いしたことはない) も毎日日記を書かれているので，全然及ばないが自分も頑張りたい．

コロナの影響で，通学・通勤が全くないので，運動不足を少しでも改善するため， ここ一ヶ月ほど仕事まえに毎朝散歩をしている． 今日までは散歩中に，音楽を聞いたり研究のことを考えていたりしていたのだが，今日はタイトルにもある通り podcast を聞いてみた． 聞いていたのは，Leading NLP Ninja，で，現在 sony にいるようである研究者の方が読んだ 自然言語処理に関連する論文の紹介を 25 min ほどで行うという趣旨のものである．

podcast 自体あまり聞いたことが無かったのだが，マイクの性能が良いのか音は非常にクリアで，また論文という複雑な内容であるのだが， わかりやすく明確に解説をしてくれているため，歩きながらでもある程度，内容をちゃんと理解・消化することができた． 今日は FreeLB と ALBERT の 2 つのエピソードを聞いた．

ALBERT は自分でも読んだ論文だったが，改めて聞いてみると，全レイヤーの重みを共有した結果，性能が向上する，という謎はやはり謎だなという感想． また，単語埋め込みを 2 つの行列に分解して保持することで，メモリ使用量を下げるというアイディアは，アプリケーション利用でも非常に有用そうである．

1 日に 10 min ほど取れば，これくらいの分量でその日起きたことや，思ったことを振り返りながらまとめることができるのは， 日々の生活を楽しむ精度をより上げてくれそうなので，できるだけ頑張っていこう．