GPUの作業机を広く使う――TRL 1.15.0がLLM学習のメモリ消費を削減

手元のGPUでAIを追加学習させようとしたら、メモリ不足で止まった――そんな壁に関わる更新です。Hugging Faceは2026年10月8日付で、言語モデルの追加学習や強化学習に使うオープンソースのライブラリ「TRL 1.15.0」を公開しました。

目玉は、AIが次の文字をどれくらい選びそうか計算する部分を、小分けにして処理する仕組み。巨大な中間データを丸ごと作らず、必要な値へ直接まとめます。イメージは、作業机に資料を全部広げる代わりに、少しずつ読んで整理すること。複数の学習方法で標準の処理となり、同じGPUでより長い文章を扱いやすくします。

公式の実験では、Gemma 3の1Bモデルを使うDPOという学習方法で、8,192トークン時のピークメモリが約49GiBから12GiBへ減ったと報告しています。ただし、B300の利用可能メモリを79GiBに制限し、ランダムな重みと人工的な入力で測った結果です。家庭用GPUや実データでも同じ数字になる、という意味ではありません。従来から省メモリだったSFTの標準設定では、最大文章長は変わりません。

計算には、Linux上の対応GPUとTritonが必要です。画像を含む会話データの学習や、会話ログの表示も改善する一方、Python 3.10の対応終了などの変更があります。チャットの応答を速くするアプリではなく、自分用・組織用のモデルを育てる人向けの基盤ソフトの更新です。