今週は寒すぎて布団から出るのがきつい．今日も目は覚めたが， 6 am から動きはじめることはできなくて，結局 30 くらいになってから作業を開始した． 暖房が起きる時間の 15min 前に起動するようになっているのだが，これまでの設定温度では布団から出るために充分な室温まで上がらなくなってきてしまっている．明日の朝は少し高めの温度に設定してから床についてみよう． あと部屋が乾燥しすぎていて置いている湿度計が LL になっている．週末に加湿器を掃除して使えるようにしてみよう．だいぶ前に手入れがされていない加湿器が菌を放出しまくっているシミュレーションを見てから加湿器を信用することができなくなってしまっているが，流石に乾燥がひどい気もする．

散歩には出ない分時間があったので論文を読んでいた．

• Do Neural Language Models Overcome Reporting Bias?
• Learning from others’ mistakes: Avoiding dataset biases without modeling them

2 つ目の論文が面白い． パラメータが少ないモデルはデータセットの biase を利用するように学習してしまうという特性を利用がある．その biased なモデルと大きなモデルを使って emsemble 学習をすることで，bias に関する外部知識がなくてもより robust なモデルを学習することができるという内容． emsemble 学習は，多いパターンとして強いモデルを組み合わせてより強いモデルを作るが，このように意図的に弱いモデルを活用する例は自分は見たことがない．

夜は友人先輩との定例．しばらく作っていたアプリケーションがとうとうひと段落した．改善したいところは少しまだあるもののちゃんと動くレベルで完成させることができた．利用してもらうためにまたこれから工夫が必要だがとりあえず達成感を味わうことができた．