朝から結構雨が降っていたので散歩は断念．最近なかなか歩けていないので運動不足が気になるところ．完全に暑くなってしまう前にできるだけ体を動かしておきたいところなのだが．

朝の時間は科学ニュースレーターの配信をスケジュールしてから，論文を読んでいた．adversarial attacks や 多言語対話システムと転移学習に関したものを読んだ．最近学会の proceedings がいくつか公開されたのでどんどん消化していかねば．BERT とかその亜種がたくさん提案される時期は割と通り越した感じになっていて，最近は，自分の目にはどうやって丁寧にシステムを評価するのか？とか，低リソースなドメインや言語など難しい設定において精度をどう出していくのかって問題に挑戦する論文がつくようになってきた．

これの流れ自体は新しいアーキテクチャが登場するたびに繰り返している気がするな．モデルに対しての分析って，そのモデルよりも優れた物が出てくると不要になってしまう気がして取り組むのが難しい気がしている．BERT 自体も gMLP が出てきてそのうちリプレースされる雰囲気があるし．でも，gMLP の流れはあくまで事前学習型言語モデルとしての形は同じなので，まだ大丈夫か．