ローカル（エッジ）AI情報局

みなさまこんにちは。

当ブログでは"ローカルLLM(自分専用生成AI)はいかが？"と題し、LM Studioを主に使いながらローカルLLMについての情報を発信してきました。ローカルLLMは文字通りローカルで機能するため、個人のコンピュータや各々で利用するコンピュータ上では問題なく動きます。その反面このコンピューターのリソースを多く使用すること、場合によっては他の動作がリソース不足で不安定になることもあります。さらに根本的な問題として、ローカルLLMをわざわざ利用する主な目的が、”情報の安全性や機密性を担保する”という点だったりもします。

何が言いたいかというとですね...情報の安全性と機密性のために、個々で性能の良いコンピューターを準備しないといけないのはちょっとコスパが悪くないですか？？ということなんですよ。例えば先日公開されたgpt-oss-20bについてですが、当ブログでよく登場するM1のmac miniでは現実的に動かせませんでした。検証用で登場したM4 MacBookAirでもgguf版は動きましたがmlx版は動きませんでした。

そこで今回は"1台だけ性能の良いマシンを準備して高性能なモデルを動かし、それを他の低性能なコンピューターからも利用できると良いよね！？"っというコスパと夢を実現させるためのお話です。

ずばり、Open WebUIを使うことでこれが成し遂げられます。細かくはいろんな手法があるのですが、今回はollamaとOpen WebUIを利用する環境をざっくりとご紹介します。

今回使用するコンピューター

性能の良いマシン(母艦)

Open WebUIを動かすマシン(小母艦)、すべてを母艦で動かすことも可能

チャット機能を使用するマシン

母艦は他の2台に比べて性能が良いマシンを準備しています。残る2台はいつものM1 Mac miniです。

1、まずは母艦にollamaをインストールし、使用したいモデルをダウンロードする。

当ブログではおそらく今回初登場のollamaですが、一言で言うとollamaもLLMを動かすためのツールです。つまりLM Studioと似通っています。ただしollama単体の利用ではチャットをターミナル上で行う必要があり、あまり使い勝手が良いとは言えないでしょう。試しにollamaにgemma3n:e4bを入れて"pythonについて教えて"と聞いてみました(回答はまだ続きますが、画像サイズの都合で省略)。使えなくはないですが、Chat GPTのweb UIに慣れている方、ターミナルに不慣れな方、起動のためのコマンドを毎回入力するのが面倒な方には向きませんね。

2、Open WebUIが動く環境を準備する。

先ほどのollamaでは使いにくいので、これを解消していきたいと思います。ここで利用するのがOpen WebUI。わかりやすく説明すると、Chat GPTの画面みたいなUIの枠組みを準備してくれる機能です。これを簡単に準備するためDockerを用います。当ブログでは小母艦にインストールしています。他にもいくらかコンテナが載っているので参考程度ですが、小母艦のメモリは6~7GBしか使用していない状態です。母艦の性能が十分な場合、Open WebUIも母艦に入れても良いかもしれません。今回はOpen WebUIの管理者設定でollama apiの接続先を母艦に設定します。

3、実際に使う

だいぶ説明を端折ったのでこれだけでは伝わりにくいですが、ここまでと諸々の設定を行うことで以下の画像のようにwebブラウザからChat GPTライクに使うことができるようになります。もちろんこれらのモデルは母艦と小母艦で動いているので、性能があまりよくないマシンからでも十分に操作することが可能になります。

こんな感じで1台のある程度高性能マシンを準備すれば、みんなでLLMを安全に使用できるようになります。社内での利用などに検討してみてはいかがでしょうか？

コメントはまだありません。