最近 hypernetwork を使った実験を進めているのだが、こんな論文が notify された。
テスト時に、context を encode したものを LM に adapter として差し込めるようにしている。RAG したいときに、モデルを適応させる一つの方法として、モデルの一部になり得るパラメータを動的に生成するモデルを学習している。にたことも試してみたいと思っていたので、こうやってこの方針で一応何かしらモデルを学習できるってのは良い報告。この論文中で、Hypernetwork って文字列検索してもヒットしないのは少し残念だけど。