寝ている間やたらと目が覚めた。一度起きた時は笑いながら寝ていたみたい。自分の笑い声で目が覚めた。気持ち悪いが多分楽しい夢だったのでまあ悪夢よりは良い。

朝食後は粗大ゴミ券を入手するがてら散歩してきた。田植えは完了しており初夏のいい感じの風景。見た目歳はこの季節が一番好きだな。

午前中は実験スクリプトの修正を少ししていた。それを反映してから gpu サーバーで実行してみようとしたのだが local では発生しないバグを踏んでしまってその修正に時間が少しかかりそう。

finetuning をする系の実験では、論文を読んでいる感じ、3 ~ 10 epochs くらいで学習を終了しているものが多い気がするのだが、これはなんでなんだろう。再現実験の際に何も考えずに 300 epochs くらい実行してみたら、10 epoch よりも全然後に最高精度を dev set ではあるが達成したことがある。もっと回しても良いのではないだろうか。

しかも dev acc を観察しながらではなくて、決め打ちで epoch 数を設定しているような記述が多い。epoch はもっと最適化ができる気がするのだが。よくわからん。

pretraining で散々学習しているので、finetuning は控えめに行こう、みたいな暗黙の了解があったりするのだろうかとすら思う。

昼から回し始めた、neptune ai をロギングに使った実験の結果がで始めた。neptune ai 非常に良い。グラフ等みやすいし、実験管理機能としてのハイパラの管理等がみやすい。 動作も安定しているし、各種メトリクスの min, max, avg とかも簡単に一覧で見れるのが良い。