朝からふと思い立って、LLaMA 関連の調査をして、できる範囲で動かせるものを動かしてみた。 LLaMA モデルをちゃんと取得するにはリクエストする必要があるのでそのフォームを提出し、もっとオープンな類似品はすぐにダウンロードできるのでそれを zero-shot と、LoRA による fine-tuning を自分が主に使っているデータセットに対してしてみて動作を見ていた。 7B くらいパラメータのあるモデルなのだが、LoRA のおかげで大学のサーバーでも学習することができる。 しっかり fine-tuning された BART-large の方がより良さげな要約を生成してくれている気がするのだが、適当な実験すぎてちゃんと比較できないので、ジャーナル提出し終わったらしっかり実験してみたい。

ドイツ語の授業、予定していたコンテンツが絶対に終わらないことに焦ったのか、何章も途中ぶっ飛ばしたり、一気に戻ったりと謎のジャンピングを繰り返した。

授業の後には何人かの生徒と共にケバブを食べてきた。インドのカースト制はかなり複雑かつたくさんの問題をはらんでいそうで怖い。