ローカル（エッジ）AI情報局

読者の皆様こんにちは

シリーズ”ローカルLLM(自分専用生成AI)はいかが？”、前回はOpen WebUIをollamaを用いて動かすお話をしました。LM Studioを推してきた当ブログに突如登場したOllama。前回はOpen WebUIを無駄のない準備で使うための手法をお伝えするためにollamaを使用しましたが、実はLM Studioを用いても同じことができるんです。そこで今回はその方法をお伝えしたいと思います。我らがLM Studioの復活です👏。

前回の記事では割とサラッと流してしまいましたが、Open WebUIを利用する際には接続先のAPIを指定します。このときOpenAI APIかOllama APIが指定できます。前回この設定の際にOllama APIを使用したためOllamaを用いた接続になりました。ひとことで言うと、ここのOpenAI APIにLM Studioを追加すればいいのです。

具体的なやり方としては、

LM Studio を開き、開発者タブを選択。続いて開発者タブの右上ぐらいにある"Status: Runing"のトグルスイッチをオンにし、使用したいモデルをロードします。オンにしたのちに、この行の右側にある"Reachable at"の接続先をコピーし末尾に/v1を追加した上で、Open WebUIの接続先に追加する。

たったこれだけの動作でOpen WebUIからLM Studioが利用可能になります。

注意点として、Ollamaの場合はダウンロードしたモデルはすべて利用可能ですが、LM Studioの場合ロード済みのモデルしか使用できません。それでいてOpen WebUIの設定にはLM Studioに追加しているすべてのモデルが表示されてしまいます。ロードしていないモデルを選択するとエラーとなり利用できません。これはちょっと落とし穴...

また、LM Studioの設定からヘッドレスモードを有効にしておくと、LM Studioのウィンドウが開いていない状態でもモデルを利用することができます。LM Studioの場合Ollamaに比べてモデルの管理が視覚的で分かりやすいというメリットがあるため、必要に応じて使ってみてもいいのではないでしょうか？？

コメントはまだありません。