朝久しぶりに家の近くを散歩した．家に電話して雑談したりしていたので 1h 以上歩いていたと思う．天気も良かったので少し暑かったが散歩日和だった．散歩道に毛虫がいる時期になってきたのでそれは嫌なのだが，景色は草木が緑づいていて綺麗．自分のお気に入りの季節だと思う．秋の紅葉も綺麗だが新緑はなんとなく元気が出て良い．

帰ってきてからはほぼ一ヶ月ぶりに研究のコードを書いたり動かしたりした．帰省中はほぼ何もしていなかったので．モデルの中間表現を可視化するロジックを入れたが問題なく動いて良かった．あといくつかの実験結果が得られたらそれらをまとめて指導者と共有かな．あまり思ったような結果が出ていないので，その詳細な分析が必要になりそう．そのための可視化ロジックを動かしている．

午後からはドイツに移住するための諸々の処理を進めていた．意外とやることが多い．銀行口座やクレカの設定．住民票，年金，保健のハンドリング方法の調査．アレルギー検査の予約．をした．アレルギー検査は明日行ってくる予定．蕎麦，食べれるようになっているだろうか．割と特殊なものなので別に食べれなくても全然こまれないのだが，これを機に調べてみる．

これらの作業が意外と時間をとり，終わったら 4pm くらいになっていたので，モデルの学習を待ちつつ論文を読んでいた．

BERT 系モデルが語順に対して疎い，という感じの論文を 2 本読んだ．これらの論文では，BERT の性能等が入力文の語順を適当に入れ替えて意味を破壊したとしても性能が下がらない，なので，これらモデルは「本当の意味で」言語を理解していないとしている．が，本当にそうなのだろうか．語順が破壊された文を人間が理解できないだけであった，モデルはそれ以上の性能を持ってして，そのようなノイズが入っていても robust に文を解釈している，ということもできなくはないのだろうか．

実際にアプリケーションとして利用するときに，語順が破壊された文が入ってきたときに正しく予想することできることは，むしろ旨味な気がするが．（そんなことが実際にあるかどうかは置いておいて．）

モデルが人間と類似した振る舞いをしないからといって，それが理解をしてないとはやはり言えない気がする．人間の理解の方法とは違うが，機械なりに別の効率的な方法で理解しており，その際に語順はあまり情報を持たない，と考えた方がしっくりくる．