ローカルLLM(自分専用生成AI)はいかが？（8：RAGで情報検索）

「AIが知らないはずの情報を、手元のPDFから答えられる？」今回はLM StudioとGemma 3 12Bを使い、RAGの基本を小さな実験で確かめます。RAGは、質問に関係する資料を取り出してAIに渡し、回答の手がかりにする方法です。

RAGにも非常に簡単に使えるものから準備に時間がかかるものまでありますが、今回はLM Studioを用いてものすごく簡単に利用できるものをご紹介します。事前準備として下記の文章が記載されたpdfファイルを準備します。

私は1999年9月9日生まれです。好きな食べ物はりんごとみかんです。私は京都府に住んでいます。趣味はランニングです。

まぁ内容は架空なんですが(笑)、これが真実だとして話を進めます。モデルや使用ソフトは今までと同様、LM Studioにgemma-3-12bを使用していきます。まずはいつも通りチャット欄にて"私の誕生日、好きな食べ物、住んでいる場所を教えて。"と質問をしています。当然AIは私の情報なんて知っているわけがないので、知らない趣旨の返答を生成してきます。

次にチャット欄にあるクリップマークをクリック。するとRAGを使用できる趣旨のウィンドウが表示され、ファイルをアップロードすることができます。ここで先ほど作成した私の情報が記載されたPDFを選んでみましょう。そして再度先ほどと同様の質問を投げかけます。

するとどうでしょうか。先ほどは回答できなかった内容をAIが生成しています。これがRAGの力なのです。普通に考えるとこんな生年月日や好きな食べ物をわざわざAIに聞くことはないと思います。しかしこれが仕事に使う書類や資料だったらどうでしょうか？わからない部分を質問してもすぐに答えてくれます。

さらに、新しいチャットウィンドウにて同様の質問を再度行います。もちろん今回は先ほどのpdfを添付していません。するとどうでしょうか！？最初の時と同じように、知らない趣旨の返答を生成してきます。当たり前な結果なのですが、この実験で分かるのは、PDFを添付したチャットと添付していない新しいチャットでは、AIに渡される情報が違うということです。これだけで「学習に一切使われない」「機密性が保証される」とは判断できません。LM Studioや接続先モデルの設定、ファイルの保存先も確認しましょう。

今回は一番簡単なRAGということで、いつものLM Studioを利用した方法を紹介しました。このようにRAGを用いる効率よく欲しい情報に辿り着ける可能性があるので是非使ってみてください。