GeForce RTX 5060 TiのVRAM 16GBモデルを入手しました。手元の環境ではgpt-oss-20bが軽快に動き、返事が次々出てくる感覚です。 生成速度は40トークン/秒を超えそうな印象ですが、ここでは厳密な測定値ではありません。モデルの量子化や設定、ほかの部品によって速さは変わります。光るグラボを眺める楽しさもあります。
コメント
コメントはまだありません。