朝からいくつか積んでいた論文を読んだ．

• On the Cross-lingual Transferability of Monolingual Representations
• Unsupervised Cross-lingual Representation Learning at Scale
• AdapterFusion: Non-Destructive Task Composition for Transfer Learning
• MAD-X: An Adapter-based Framework for Multi-task Cross-lingual Transfer

上 2 つは，BERT cross lingual 系． 1 つ目のが面白くて，join vocab を行わずに，zero-shot で en -> tgt lang への transfer を実現するフレームワークの提案をしている． 論文にも書いてあるが，これがうまくいくということは，bert の embedding layer 以外の layer に言語を跨いだグローバルな 言語特性のようなものが格納されていることを示唆している．

昨日の日記にも書いたが，やはり教師なし学習は有用なことに加えて，このような特性が発見されるから面白い，

下の 2 つは cross lingual や multi task をうまく実現するために，bert に adapter と呼ばれる module を足しましたよ，系． 少し黒魔術化している気がするが，ポータブルな形式で知識を獲得できるのは面白いし，なんかかっこいい．

これらを読んでいて，元からそうなのだが，読んだ論文の知識を自分のものにできていない感覚が出てきた． 理解はしているのだが，得た情報をもとに，新しい何かを考えるということがうまくできていない． ある論文を読んで切るときに，それを拡張できそうなこと，改善できそうなことをアドホックに考えることはあるのだが， いくつかの論文を跨いで，それらの問題や抜け目を探すということが具体的にはできていない． どうして良いのか分からなかったので，とりあえず授業とかのアイディア出しでやったようにとりあえず postit に， 各論文の面白いところや課題点を書き出してみようと思い，散歩中にコンビニによりかってきて， 上記の論文のことをそれぞれ postit のカードに書き出して見たのはいいのだが，それらを貼るのに十分な広さを持った平面がない． ノートを何ページも使って貼っていくか？でもそうしたら，全体を一気に見直して整理してみる，とかいう postit 特有の操作ができないんだよな．