最新のM4 Macでgemmaの使い勝手を比較してみる
今回は最新のMacを使って試験的にgemmaのパラメータ数の差によるマシンへの負荷や諸々を比較してみたいと思います。
今回利用するのは...
MacBook Air M4
10 Core CPU, 10 Core GPU
32GB RAM
です。
当ブログではいつもM1 Mac miniが登場しますが、今回はもうちょっと新しいマシンを呼んできました。このマシンを使ってgemma 3 12Bとgemma 3 27Bを回して比較したいと思います。せっかくなので先日のブログでご紹介したasitopも利用してみましょう。今回のコンセプトとしては、最新世代でLLMを回すのにある程度の性能がありそうなMacを使って、LM StudioでMLX対応のモデルをどこまで動かせるかやってみよう！！というところです。
先ほど、今回使用するMacの説明はさらっと済ませたので次はモデルの説明を。gemma-3-12bのMLX版とgemma-3-27bのMLX版を使用していきます。ちなみにこのブログはいつものM1 Mac miniで書いているのですが、このマシンで27Bのモデルをダウンロードしようとすると”大きすぎんじゃね？？”っと突っ込まれています。
今回は動画付きです！！リソースの実際の使用具合や所要時間は動画をご参照ください。どちらも事前にモデルのロードは済ませた状態で撮影しています。
回してまず思ったのが、"27Bでもちゃんと動く！！！"ってことです。さらに12B, 27BともにMLX版であるにも関わらず、生成中にANEを全く使用していないということです。GPUパワー全開と必要に応じたメモリの消費がメインのようです。"せっかくのMLX版なのにANEを使ってないなんて..."と思う反面、"これGGUF版回したらどうなるんだ？？"って疑問も新たに湧いてきました。
とりあえず今日のところは、今回使用したぐらいの構成のMacにMLX版の27Bサイズのモデルを入れてもある程度動いてくれるということです。その他の疑問は次回解消しましょう(?)
コメント
コメントはまだありません。