ローカルLLM(自分専用生成AI)はいかが？（６：チャットしてみる）

さてさて、モデルのダウンロードも無事に終わったので、2種類のモデルを比較しながら実際にチャットを行ってみたいと思います。

今回はモデルの差を明確に(?)してみたくて、google/gemma-3n-e4bとgoogle/gemma-3-12bを利用しました。名前から分かる通り、それぞれパラメーターが4Bと12Bのモデルになっています。これらに対し"pythonについて教えて"という質問を投げ、回答が完了するまでの時間を測定しています。カーソル移動の都合上、質問を開始してからストップウォッチを開始するまでに若干の時差がありますがその点は悪しからず。

まずは所要時間の差について。

以下の表の時間差がありました。パラメータ数の差に応じて所要時間に明らかな差があるのがわかります。

続いて生成された文章についてです。

画面サイズの都合上生成結果のスクリーンショットは小分けのものを合成しています。結果についても12Bのモデルのほうが、その是非はさておきより細かく長い文章を返していることがわかります。

当たり前っちゃ当たり前ですが、モデルの性能が如実に現れる結果となりました。読者の皆様も"実際にモデルの違いでこれだけの差が出る"ということを意識してモデルを選定&利用してみてください。