GPUのメモリをもっと使いやすく――ExLlamaV3 1.6.2がCPU分担と推論処理を改善

手元のPCで大きなAIを動かしたい。でも、GPUのメモリが足りない……。そんな場面に関わる更新です。ローカルLLMの実行を支える開発者向けライブラリ「ExLlamaV3」の1.6.2が公開されました。GitHubのリリース表示は2026年10月14日付です。

更新点の一つは、処理の一部をCPU側へ分担する「CPUオフロード」の高速化。GPUだけに任せず、PC本体のメモリやCPUも使う構成を改善します。ただし、どんなモデルでも小さなGPUで快適に動くという意味ではなく、対応するモデルや機器の確認が必要です。

複数のGPUでモデルを分担する構成では、DFlash2の「ドラフト」を使えるようになりました。これは先の出力候補を作って検証する推論方式に関わる対応です。また、GDN・KDA・MLAという種類の層で、GPUメモリの余分な使用を減らす変更も入っています。

AMD系GPUで使われるROCmの修正や、gfx11系GPUの注意機構の高速化も含まれます。速度が何倍になるかという共通の測定値は示されていません。すでにExLlamaV3を使っている人が、自分のモデルと構成に合う改善を確認したいリリースです。