ローカルLLMを動かすのに、GPUは必要なのか？

ローカルLLMには高価なGPUが必須？ この動画は、CPUだけでAIを動かした場合を試し、その使い心地を考える検証です。

投稿者の説明によると、OpenAIの公開モデルgpt-ossの20B版と120B版を使っています。大きなモデルほど多くのメモリや時間が必要になるため、「動く」と「快適に使える」は別の話です。

特定のパソコンでの実験として見ると、GPUを買う前に何を確かめればよいか考える手がかりになります。速度はCPU、メモリ、モデルの軽量化設定で変わります。