ローカルLLM(自分専用生成AI)はいかが？（１：概要）

ChatGPTをはじめ、生成AIが花盛りです。ものすごい勢いで進化を重ねているので行く末が恐ろしくも感じます。そんな昨今ではありますが、社内にメモリが16GBのM1 Mac mini やメモリーが8G乗っている nVidia のグラボひっそりと放置されていることを僕は見逃してはいません。

「こいつを使って以前から興味のあるローカルLLM(自分のパソコンの中で動くAI)の実験に使ってみよう」と思いたったのが、ローカルLLM情報局の発端です。

自分専用AIという響きは、シャア専用とかジョジョのスタンドみたいでかっこいいですね。手持ちの機器でどこまで使えるかは試してみないと分かりませんが、これからローカルでAIを活用しようという動きも活発化しそうですし、人柱になればとの思いです。（調査・実験です！）

ローカルAIとChatGPTやGeminiとの大きな違い

今、多くの方が使っているのはChatGPTやGeminiといったAIと思います。これらはクラウドにある大きなコンピューターで動いています。（インターネット接続されたどこかにあるデータセンターに本体がある）めちゃくちゃ高性能なコンピューターなのでめちゃくちゃ賢いAIが動かせて、それをみんなが使っている状態です。

一方、これから試そうとしているローカルAIは、さほど高性能でもない自分のパソコンでAIを動かしてみよう！という挑戦的な取り組みになります。2025/５の時点では私のパソコンではChatGPTのような超かしこい実用的なAIは動かないと思いますが、「へー、わりとちゃんと動くじゃん」的な性能AIならなんとかなると予想しています。

ローカルAIのメリット、デメリット

1. ローカルAIの使い勝手は、PCの性能やモデル、用途によって大きく変わります。
2. 【データ管理】手元で処理できます。ただし、外部サービスや連携ツールを使うとデータが送られる場合があります。機密情報を扱う前に設定と社内ルールを確かめましょう。
3. 【費用】無料で使えるモデルもありますが、PCの購入費や電気代、モデルのライセンスは別に考える必要があります。
4. 【オフライン利用】モデルを事前に保存し、外部連携を使わなければ、ネット接続なしで動かせる構成もあります。

ローカルだからこそのデメリットもあります。

1. 【必要な機器】PCのメモリや処理能力によって、快適に動かせるモデルは変わります。
2. 【性能の見極め】大きなモデルはメモリが足りず動かせない場合があります。一方、小型モデルでも要約や下書きなどに役立つことがあります。

今回はざっと状況の説明をさせてもらいましたが、次回はもう少し具体的な話ができれば、と思います。