グループ全体での発表会のために出ラボしてきた。 二つ目の発表、ほぼ何もわからなかった。
今回している実験のために、phi-1.5 をベースのモデルとして試すための実験のための実装をしている。 llama とかに比べて軽量なモデルなので割と使いやすいのが良い。が、やはり t5 とか bart に比べるとデカすぎるので、対象のタスクのためのデータセットがあり教師あり学習できる場合には、めっちゃ性能が向上しない限り使い所はなさそうだな。 zero-shot の性能があるのでデータがない時には便利そうだが、自分のタスクである論文要約はドメインによるがデータは一応あるので。