LM Studio + CPUメモリが64GB以上で gpt-oss-120B 動作
タイトルのような情報を中村様のXのポストで知ったので、手元のWindowsマシンで試してみました。
Core i7-10700K 64GB RTX 3060 12GB | ガードレールオフ | 5.34トークン/秒 |
Core i9-12900 128GB RTX 5060Ti 16GB | ガードレールはデフォルト | 10.02トークン/秒 |
Ollama + OpenWebUIも試しました
現時点では、LM Studioの方がOllamaより最適化が進んでいるような感じがしました (･∀･)
Core i9-12900 128GB RTX 5060Ti 16GB | 5.4トークン/秒 |
コメント
コメントはまだありません。