ローカルLLM(自分専用生成AI)はいかが？（４：モデルの種類）

LLMの大きさなどの見方ですが、LM Studio の場合はモデルをダウンロードする画面で選択したモデルの情報が表示されます。

モデルによって表示方法が変わるので戸惑ってしまいますが、Params という部分がモデルの大きさ（パラメータ数）です。

12Bだと120億パラメータという意味になります。(1B = 1 billion = 10 億)

メモリが16GBの Mac miniでは、7Bや12Bあたりのモデルが動かせる上限になってくると思います。

クラウドで動いているような大きなモデルは数千億を超えるものもあるようなので、120億は比較的小さいモデルと言えそうです。

パラメータ数以外に、パラメータの種類によってもモデルのサイズや性能が変わります。

モデルの説明などを見てそのモデルがどの精度かを調べると重みサイズがわかります。

ざっくりと言うと重みサイズが大きいほど高性能で小さいほど少ないメモリで動きます。

パラメータ数とパラメータの種類でおおまかにモデルのサイズがわかります。

他にもMLXでMac用に最適化されているかなど、さまざまな特徴がありますが話が難しくなるのでここまでに。