朝の段階では、鼻周辺がまだ詰まっている感じはするものの体調自体は普通。

Determinantal Beam Search (ACL 2021)

を読んだ。 多様性を生成の時点で気にする decoding algorithm の論文は何本か読んだのだが、本当にそれが必要な場面があるのかいまいちよくわかっていない。 対話システムとかでは過去のレスポンスを繰り返したくないとかはわかるのだが、それは生成の時に複数の類似しないものを生成するのではなくて、入力として類似させたくないテキストが渡されるはずだよね。 たくさん生成して、そこから過去のレスポンスに類似していないものを選択するのは無駄なので。 この論文は機械翻訳のデータで提案システムを評価しているが、翻訳こそ常に同じ出力が欲しいのではなかろうか。 手法としては面白いのだが、あまりに動機づけが弱い気がするよくある論文。