ローカル（エッジ）AI情報局

前回の記事でRAGについての概要を説明したので今回は実際に使ってみたいと思います。

RAGにも非常に簡単に使えるものから準備に時間がかかるものまでありますが、今回はLM Studioを用いてものすごく簡単に利用できるものをご紹介します。事前準備として下記の文章が記載されたpdfファイルを準備します。

私は1999年9月9日生まれです。好きな食べ物はりんごとみかんです。私は京都府に住んでいます。趣味はランニングです。

まぁ内容は架空なんですが(笑)、これが真実だとして話を進めます。モデルや使用ソフトは今までと同様、LM Studioにgemma-3-12bを使用していきます。まずはいつも通りチャット欄にて"私の誕生日、好きな食べ物、住んでいる場所を教えて。"と質問をしています。当然AIは私の情報なんて知っているわけがないので、知らない趣旨の返答を生成してきます。

次にチャット欄にあるクリップマークをクリック。するとRAGを使用できる趣旨のウィンドウが表示され、ファイルをアップロードすることができます。ここで先ほど作成した私の情報が記載されたPDFを選んでみましょう。そして再度先ほどと同様の質問を投げかけます。

するとどうでしょうか。先ほどは回答できなかった内容をAIが生成しています。これがRAGの力なのです。普通に考えるとこんな生年月日や好きな食べ物をわざわざAIに聞くことはないと思います。しかしこれが仕事に使う書類や資料だったらどうでしょうか？わからない部分を質問してもすぐに答えてくれます。

さらに、新しいチャットウィンドウにて同様の質問を再度行います。もちろん今回は先ほどのpdfを添付していません。するとどうでしょうか！？最初の時と同じように、知らない趣旨の返答を生成してきます。当たり前な結果なのですが、自身の与えた情報が学習に利用されておらず、その場限りの返答で情報の機密性が保持されていることがわかります。

今回は一番簡単なRAGということで、いつものLM Studioを利用した方法を紹介しました。このようにRAGを用いる効率よく欲しい情報に辿り着ける可能性があるので是非使ってみてください。

コメントはまだありません。