Knowledge Base を活用したモデルを提案している論文の再現実装をしていた。午前中に調子良く作業できたので一応完了させることができた。ちゃんとデータを使った学習が進むかのテストは現在 GPU へのアクセスがないため先延ばし。

ベクトルや行列ゴニョゴニョ変形したりするのだが、一連の作業の後に、max pooling を取る箇所がある。あまり pooling の処理を使ったことがなく、情報をたくさん落とす処理な気がするので、せっかく作ったベクトルなのに pooling しちゃうの？という感じ。なんか勿体無い気がするのだが、論文がそう記述しているのでしょうがない。後から自己流に改造するかもしれないが、とりあえずこれに従う。

昼にクリームパスタを食べてから、午後は 3h ドイツ語の勉強。

20 章存在する教科書を今週の木曜日までに一通り読み切りたい。単語等を覚えたりするのは後から時間をかけてやるにして、基本文法を早い段階で抑えてしまいたい。そうしてからアプリ等を使った単語や慣用表現を覚えていく予定。

必須であるのにこれまでなんとなく先延ばしにしてきたのでこれから集中して学習していく。間違いなく言語がある程度はできたほうが生活が楽になるはずなので。

ドイツ語学習は結構疲れたので、3h で予定通り切り上げて、そのあとは結局論文読んでた。

以下の論文面白かった

TuringAdvice: A Generative and Dynamic Evaluation of Language Use - ACL Anthology

これ面白い。モデルの評価を結果提出のタイミングの reddit スレッドを参照として行うことで、データセットが動的に変化し続ける。

モデルの評価をどうしようかたくさんの研究者が頭を悩ませているところだが、ある意味、動的に変動するプラットフォームにそれを任せてしまおうとしている感じ。 これが正しいのかは知らんが一つのアイディアとして面白い。

論文読みは楽しいのだが、実装の手が空いてきたので、実験完了をただ待つのではなくて、次のアイディアを練り、その実装を開始していきたいところ。 少しづつ書き溜めているアイディアがあるのでそれらを眺めて良さそうなものをもう少し深く検討するってことをしていく。せっかくのニート期間、有効活用したい。