ローカルLLM(自分専用生成AI)はいかが？（４：モデルの種類）

LLMの大きさなどの見方ですが、LM Studio の場合はモデルをダウンロードする画面で選択したモデルの情報が表示されます。

モデルによって表示方法が変わるので戸惑ってしまいますが、Params という部分がモデルの大きさ（パラメータ数）です。「12B」は約120億個のパラメータを持つという意味です（1B＝10億）。ただし、数字が大きいだけで回答の質が必ず上がるわけではありません。

16GBメモリのMacで動かせるモデルの大きさは、量子化の方式、会話の長さ、ほかのアプリの使用量などでも変わります。「7Bや12Bが上限」とは一律に言えないので、配布ページの必要メモリを確認しましょう。同じパラメータ数でも、重みを何ビットで保存するかによってファイルの大きさは変わります。

モデルの説明などを見てそのモデルがどの精度かを調べると重みサイズがわかります。下の表は、重み一つあたりのデータ量の目安です。少ないビット数に圧縮する「量子化」は必要なメモリを減らせますが、品質への影響はモデルや方式によって異なります。

パラメータ数とパラメータの種類でおおまかにモデルのサイズがわかります。

他にもMLXでMac用に最適化されているかなど、さまざまな特徴がありますが話が難しくなるのでここまでに。