自前のAIに「選ぶ・採点する」仕事も――vLLM 0.32.0が判断モデルと省メモリ処理を強化

AIに長い文章を書いてもらうだけでなく、候補を選んだり、基準に沿って点数を付けてもらいたい。自前のLLMをサーバーで動かす推論基盤「vLLM」の0.32.0が、2026年10月18日に公開されました。判断する仕事と、計算資源の使い方を広げる更新です。

新しい「/v1/systemone」は、整理された入力情報を渡し、選択や採点などの判断を求めるための窓口です。LiquidAIのd1-3BやCloudflareのclef-omniなどに対応します。また、対応モデルに付属する応答の書式を読み取り、ツール呼び出しや推論部分を解釈する仕組みも加わりました。

会話中の計算結果を一時保存する「KVキャッシュ」も改善。低い精度で小さく保存するNVFP4の対応範囲が広がり、AMD GPU向けのROCmには4bitのキャッシュが追加されました。ROCmでは新しい実行方式Model Runner V2が標準となるなど、動作の効率化も進んでいます。

EmbeddingGemma 2やMiniCPM-V 4.7などへの対応、セキュリティ修正も含まれます。Python 3.10は対応対象から外れ、ブラウザーからの接続許可の初期設定も変更されました。実際の速度やメモリ削減はモデルと機器に左右されるため、既存のAIサーバーを更新する際は、公式の変更点と自分の構成を確認したいリリースです。