自作している文ベクトル作成ライブラリに BERT サポートを足してみた. これまでは,文ベクトルの作成は word2vec or fasttext で文中の単語をベクトル化してその平均を取る手法のみ実装していたが, bert 特徴量を使った簡単な実験をしたいことがあったので使えるようにした.
fine-tune はできなくて特徴量を抽出するだけ. 用途としては,分類とかで,文ベクトルを作って SVM とかの入力にしたり,類似度の計算に利用したりかな.
fasttext との比較実験を明日あたりやってみよう.