pytorch-lightning-transformers-fine-tuningって構成でMRPCに対してpre-trained BERTをfine-tuningするscriptを書いているのだが， それが結構いい感じにかけている．dataloaderにはlineflowをつかっている． どのライブラリも抽象化がいい感じにできているので，あまり頭を使わずに実装しても割と見通しが良いコードがかけた．

BERTをfine-tuningするのを公式exampleなしでやっている例があまりないので，これはまとめて投稿したいな． 今年中に両言語で頑張って書こう．