大きなAIを賢く動かす――llama.cpp v0.7.0がMoE用GPUキャッシュとモデル管理を強化

大きなAIを手元で動かすには、計算の速さだけでなく、必要なデータをどこに置くかも大切です。ローカルLLMの実行基盤「llama.cpp」のv0.7.0が公開されました。GitHub表示は2026年10月15日付、日本時間では16日のリリースです。

注目は、MoEモデル向けの新しいGPUキャッシュ。MoEは、処理ごとに担当する専門家役の部分を選ぶ仕組みです。PC本体のメモリに置いた専門家のデータを、GPU側に一時保存して使い回します。公式は、専門家をオフロードする条件で、文章生成が最大約2.2倍になると報告しています。

出力候補を先に作って検証する高速化手法「LiliCorr」や、GLM5-Next向けの複数トークン予測にも対応。Prism Bonsai 2 27Bなどのモデル対応が加わり、Web画面にはモデルを管理する機能、サーバーには会話やプロンプトの保存状態を復元する処理の改善も入っています。

更新時は接続設定にも注目です。サーバーの標準ポートは8080から9931へ変更されました（Docker内は8080を維持）。すべてのモデルやPCで同じ速度向上になるわけではないため、使うモデルと構成に合う変更を確認しながら試したい更新です。