ふと mBERT や XLM-R をはじめとした多言語言語のモデルが，各言語に対して事前学習された言語モデルよりもどんな点で優れていると提言されて出現してきたものかわからなくなったの調べてみた．

XLM-R を提案している Unsupervised Cross-lingual Representation Learning at Scale を読んだらちゃんと書いてあった．いくつかの理由はあるが，複数の言語を単一のモデルで表現しているため，あるタイプのタスクに対してリソースの豊富な英語のような言語で fine-tuning すると，データセットが存在しない他の言語に対して zero-shot である程度性能が出ることがあげられている．また，似たような理由で低リソースな言語のあるタスクに transfer しても単言語のモデルと比較して性能が向上しやすいことが実験的に示されている． これは十分な理由になりうる．

社会に分断をもたらした「自分自身の努力と勤勉さ」で成功したという考え──『実力も運のうち　能力主義は正義か？』 を読んだ．最近各国で明確に表面化してきている社会分断の一因となっていそうな能力主義の本らしい．高みを目指せる人たち，自分を含めて，はある程度出生の段階でアドバンテージがある，さらに強いアドバンテージがある人たちもたくさんいる，が，その人たちはそれを当然のこととして享受しているので，そうしない（できない）人たちがいることが理解しにくい．そしてさらに格差は進行する方向に日本も含め世界は移動しているのでこれどんどん加速するであろう．この記事で本で紹介されていた解決策が面白くて，大学の入試の大部分をランダムにしちゃえば，というのがあげられているらしい． こうすることで，いろんな人に対してチャンスが行きやすくなるし，勝ち取った人も運の要素を強く感じるため，負けた人たちのことも理解しやすくなるだろう．

去年の 6/27に家に迎え入れた植物が正式に今日死亡した．しばらく前から調子が悪そうで，鉢植えと土を移動したりしたがそれも特に効果がなく，根に近い方から萎んでしまっており，葉っぱは半分以上落ち，残っているものも変色してしまっている．一度水を大量にあげすぎてしまったことが原因か，それとも植え替えのタイミングで根がちぎれてしまったことが問題だったか，そもそも育成が困難なものなのか，今となってはわからない．