4 levels of LLMs (on the go)

外出先でもローカルLLMを使うなら、どのくらいの機器が必要？ Alex Ziskindの動画は、GPUのメモリ量やモデルの大きさを変えながら、Windows機とMacでの動かし方を比べます。

モデルが「起動する」ことと「気持ちよく使える速度で答える」ことは別です。メモリの容量だけでなく、モデルの圧縮方法や回答速度にも注目してみましょう。英語の動画なので、字幕が利用できる場合はYouTubeの翻訳機能も助けになります。