ローカルLLM(自分専用生成AI)はいかが?(12:OpenWebUIで社内共有(LM Studio編))
読者の皆様こんにちは
前回はOllamaとOpen WebUIをつなぎました。今回はLM Studioを接続先にします。同じチャット画面から、手元で動くモデルに話しかけられるでしょうか。
Open WebUIでは接続先のAPIを設定します。前回はOllama APIを選びましたが、今回はOpenAI互換APIとしてLM Studioのサーバーを登録します。
具体的なやり方としては、
LM Studio を開き、開発者タブを選択。続いて開発者タブの右上ぐらいにあるサーバー起動用のスイッチ(表示名は版によって異なります)をオンにし、使用したいモデルをロードします。オンにしたのちに、この行の右側にある"Reachable at"の接続先をコピーし末尾に/v1を追加した上で、Open WebUIの接続先に追加する。接続後にOpen WebUIからモデルが見えるか、実際に質問へ応答するかを確認しましょう。
モデル一覧と実際に使えるモデルは、LM Studioの設定で変わります。JIT(必要時に読み込む機能)が無効なら、事前にモデルをロードしておきます。有効なら、未ロードのモデルを呼び出したとき自動で読み込める場合があります。
社内ネットワークから使う場合は、接続先の公開範囲や認証設定を確認し、意図しない相手から使われないようにしてください。
また、LM Studioの設定からヘッドレスモードを有効にしておくと、LM Studioのウィンドウが開いていない状態でもモデルを利用することができます。LM Studioの場合Ollamaに比べてモデルの管理が視覚的で分かりやすいというメリットがあるため、必要に応じて使ってみてもいいのではないでしょうか??

コメント
コメントはまだありません。