AIへの依頼を賢く振り分ける「受付係」――llm-d Router 1.0.0が公開

社内で複数のAIサーバーを動かすとき、「次の質問をどのサーバーへ渡すか」も大事な仕事です。その受付係を担うオープンソースの「llm-d Router」が1.0.0を公開しました。GitHubのリリース表示は2026年10月16日付。LLMの混み具合や、計算済みのデータの所在を考えて依頼を振り分ける仕組みです。

今回の注目は、AIエージェントと何度もやり取りする会話を、処理の途中データが残っている実行先へつなぐ機能です。この一時データは「KVキャッシュ」と呼ばれます。前の計算を使える場所を選ぶことで、会話を続ける際の再処理を抑える設計につながります。

主要な設定APIと中核プラグインが安定版となり、安定版のプラグイン設定仕様も固定されました。ResponsesやMessages形式の依頼を段階ごとの処理へつなぐ対応、音声・動画を含む処理の分担、自動で処理役を増減するための対応なども含まれます。

Kubernetesなどで推論基盤を運用する開発・管理担当者向けの更新です。モデルサーバーや通信経路に合わせた構成が必要です。自前のAIをチームで使う規模になったとき、計算資源と会話の流れをどう管理するかを考える材料になります。