ローカルLLMとローカルDifyでチャットボット

自分のMacの中だけで、チャットボットを作れる？ Ollamaで言語モデルを動かし、Difyを画面づくりに使って、まずはチャット機能を試しました。

投稿者のM1 Mac mini（メモリ16GB）では、動作は速くなく、メモリを使い切ると不安定になりました。新しい機種なら必ず解決するとは言えませんが、より多いメモリは検討材料になります。小さな会社や個人が無理なく使うには、モデルの大きさと機器の費用のバランスが大切だと感じた実験です。