ローカルLLMの実験用に、中古のGeForce RTX 3060を手に入れました。GPUの専用メモリ(VRAM)が12GBあるモデルです。どの大きさのモデルまで試せるか、楽しみです。 M1 Mac miniのメインメモリ16GBとは仕組みが違うので、容量の数字だけで速さは比べられません。同じモデルや設定で試して、使い心地を確かめていきます。
コメント
コメントはまだありません。