ギリギリまで忘れていたが、今日から仕事始めだったのでのんびりと開始している。 年末にいい感じに直前のプロジェクトを完了させることができたので、フレッシュスタートとして次にやることを考えていく。

BART の事前学習の方法を調べていた。 fairseq 公式のコマンドは一応公開されているが、最終的には transformers 上で使いたいので、model, tokenizer をコンバートする必要があるのだが、tokenizer を変換する良い方法が見つからない。 transformers からは公式のスクリプトは公開されていないが、利用した実装を公開している人らはいる。 が、いくつか目を通して見ても、信頼して実行できそうなプロジェクトがない。 唯一良さそうなものも試しに実行してみたらよくわからんエラーがたくさん出てきたので、この辺の実装を参考にしつつ自分で書いていくことにした。 めんどくさいが、時間のかかる学習になり失敗したくないし、一度自分でやっておくのも良い学習になりそうなので、ということで正当化する。