昨晩少し昔無理やり見せられた怖い映画を思い出して怖くなったが 10:30 pm には寝れたので朝からアラームなしで気持ちよく目が覚めた。夜中一度怖い夢で目が覚めた気がするが。ヨーロッパの広い部屋で一人で怖い気分になるともはやどうしようもないので最悪。

最近朝食はパンで簡単に済ませている。今日もサクッと食べて少し早めに出て1時間近くかけて出ラボした。帰りも少し遠回りしたら 13000 歩いくかしら。と思ったが 1h 近い徒歩でも 4000 歩だった。もっと歩いている気がするのだが、実家に電話しながらの散歩だったのでうまく歩数を計測できなかったのか。

先日から通常研究室の gpu memory には乗らないサイズのモデルの学習をしている。microsoft 発ライブラリ deepspeed を pytorch-lightning がサポートしているのでそれを使っている。

https://pytorch-lightning.readthedocs.io/en/latest/advanced/advanced_gpu.html#collating-single-file-checkpoint-for-deepspeed-zero-stage-3

学習のスピードはだいぶ落ちるのだが、モデル全体を学習できるのは非常に嬉しい。

最近実験していたものに関して論文を少しだが書き始めた。 abstract をざっくり書いたのだが、最近関連している研究の論文をたくさんよでいたため、それらの平均みたいな abstract を書いてしまった。たくさん論文があるので一般的なことに関しては類似してしまうのはしょうがないにしても、それでは読んでもつまらないものになるのでどうにかしたい。