デモシステムで使っているモデルたちを、論文でレポートするためにベンチマークデータセットで評価していた。 検索とNERに関してやったのだが、beir と spacy プロジェクトを使ったら詰まることなく一瞬で完了させることができた。 しっかりとメンテナンスされたリポジトリがあるとやはり良いね。 研究成果がちゃんと利用可能な形になっている感じがする。 このような状況は要約ではないので、何かしら類似したことをしたいと思った。

が、それをやるにはやはり rouge をどうにかする必要がありそれはパンドラなのであまり触りたくないのだが、流石に機運が高まってきている気がする。