ローカルLLM(自分専用生成AI)はいかが？（６：チャットしてみる）

前回ダウンロードしたモデルに、いよいよ質問してみます。今回比べるのはGemma 3n E4BとGemma 3 12B。どんな返事が返り、時間はどれくらい違うでしょうか？

両方に「pythonについて教えて」と質問し、回答が終わるまでを手元で計測しました。Gemma 3n E4Bの「E4B」は実効パラメータ数を表す名称で、単純にGemma 3 12Bとパラメータ数だけを比べることはできません。計測開始には操作上のずれもあるため、以下の時間はこの実験の目安です。まずは所要時間の差について。

今回の計測では、Gemma 3n E4Bが約1分21秒、Gemma 3 12Bが約2分37秒でした。モデルだけでなく、出力の長さやPCの性能も所要時間に影響します。

続いて生成された文章についてです。画面サイズの都合上、生成結果のスクリーンショットは小分けにして合成しています。この実験では、Gemma 3 12Bのほうが長く詳しい文章を返しました。

この一回の比較で、どちらが常に優秀かは決められません。それでも「速さ」と「返事の詳しさ」が変わる様子は興味深いですね。自分のPCで同じ質問を試し、読みやすさや正確さも合わせて選んでみてください。