直近二日とは違い今日は朝から朝食,納豆ご飯と味噌汁を食べた.
午前中活動してみたところ空腹によるディストラクションはあったものの,なんとなく朝食なしの方がタスクには集中できた気もする.今日の午前中のタスクが抽象的なもので難易度が高かった可能性もあるけど.
食事を取ると,それを消化するために体が活動するのでそれに伴い体力をしょうもするというのは聞いたことがあるので,食事をとらないことで短期的な生産性ブーストになるのかも. 食べるものを消化の良いものにすることでハイブリッド型になるのだろうか.
午後は,NLP models の interpretablity や explainablity に関して調べたり考えたりしていた.見つけた応募の内容がそれに関連したものだったからである. 午後いっぱいの時間をかけて面白そうな文献や問題を考えてみたのだがどうも思いつかない. 確かに信頼性の高いシステムを構築する時や,モデル自体の改善を行うときに内部や推論プロセスの理解をシステマチックに得られると便利だとは思うのだが,結局その得られた示唆を担保するのはどうするのか?とイタチゴッコ化する気がする.
現にこれまで,attention を可視化することでモデルを理解できる,いやできない,みたいな論文の行き来があることを知っている.それ自体は科学のプロセスとして健全な気がするのだが,現実に解かれることを待っている具体的なタスクが存在する中でこっちに注力したいとは自分は思えなかった.
それよりもシンプルにデータセットを切り分けて probing をする方が実用的かつすぐに利用可能な見解を得ることができるのではなかろうか.
昨日の予告通り夕飯は軽く済ました.半ラーメンと豆腐.量的には明らかに普段より少ないがとりあえず腹は膨れた. 6時くらいから結構空腹を感じていたので,何も食べずに就寝というのはきつかった気がする.それをするなら昼食を遅したりする必要があるのかな.
おそらく寝る前には軽く腹が減るのだろうが粘って寝ることで解決することとする.