vllm の API を叩き、embedding を生成するためのコードを書いていた。非同期処理と、ディスク永続化の機能をつけたくて、ガチャガチャしていた。python の asyncio を始めて自分で使ってみれたのは楽しかったし、diskcacheは使いやすくて良い。
vllm の API を叩き、embedding を生成するためのコードを書いていた。非同期処理と、ディスク永続化の機能をつけたくて、ガチャガチャしていた。python の asyncio を始めて自分で使ってみれたのは楽しかったし、diskcacheは使いやすくて良い。