家から作業。hypernetwork の初期実験結果が出た。EOS token の embedding をモデルの表現として使ってみていたが、これじゃやはりダメみたい。もう少しモデルのテキストをエンコードする方法を表現する特徴量が必要になりそう。次の作戦としていくつか NLI dataset のサンプルをエンコードしたものを間接的に使う方法を試してみている。
家から作業。hypernetwork の初期実験結果が出た。EOS token の embedding をモデルの表現として使ってみていたが、これじゃやはりダメみたい。もう少しモデルのテキストをエンコードする方法を表現する特徴量が必要になりそう。次の作戦としていくつか NLI dataset のサンプルをエンコードしたものを間接的に使う方法を試してみている。