最新のM4 Macでgemmaの使い勝手を比較してみる

「同じMacで、12Bと27BのAIを動かすと何が変わる？」MacBook Air（M4、メモリ32GB）でGemma 3の2種類を比べました。12Bと27Bはモデルの規模を表す数字です。

今回利用するのは...

MacBook Air M4

10 Core CPU, 10 Core GPU

32GB RAM

です。

当ブログではいつもM1 Mac miniが登場しますが、今回はもうちょっと新しいマシンを呼んできました。このマシンを使ってgemma 3 12Bとgemma 3 27Bを回して比較したいと思います。せっかくなので先日のブログでご紹介したasitopも利用してみましょう。今回のコンセプトとしては、最新世代でLLMを回すのにある程度の性能がありそうなMacを使って、LM StudioでMLX対応のモデルをどこまで動かせるかやってみよう！！というところです。

先ほど、今回使用するMacの説明はさらっと済ませたので次はモデルの説明を。gemma-3-12bのMLX版とgemma-3-27bのMLX版を使用していきます。ちなみにこのブログはいつものM1 Mac miniで書いているのですが、このマシンで27Bのモデルをダウンロードしようとすると”大きすぎんじゃね？？”っと突っ込まれています。

今回は動画付きです！！リソースの実際の使用具合や所要時間は動画をご参照ください。どちらも事前にモデルのロードは済ませた状態で撮影しています。

回してまず思ったのが、"27Bでもちゃんと動く！！！"ってことです。今回の計測では、12B・27Bのどちらも生成中にApple Neural Engine（ANE）の使用が見られませんでした。MLX版という名前だけでANEを使うとは限らない、という発見です。GPUパワー全開と必要に応じたメモリの消費がメインのようです。"せっかくのMLX版なのにANEを使ってないなんて..."と思う反面、"これGGUF版回したらどうなるんだ？？"って疑問も新たに湧いてきました。

とりあえず今日のところは、今回使用したぐらいの構成のMacにMLX版の27Bサイズのモデルを入れてもある程度動いてくれるということです。その他の疑問は次回解消しましょう(?)

gemma-3-27bを動かしている動画

gemma-3-12bを動かしている動画