【とらせれさま】RX7900XTX + WSL2 + ROCm + vLLMでローカルLLM環境を構築する

NVIDIA製GPUがなくても、手元でLLMを動かせる？ この体験記事では、筆者がAMD Radeon RX 7900 XTXを使い、Windows 11のWSL2上にROCmとvLLMを組み合わせた環境を作っています。WSL2はWindows内でLinuxを動かす仕組み、ROCmはAMDのGPU計算基盤です。

筆者は24GBのビデオメモリを持つGPUで7B級のモデルを実行し、独自の環境で速度も測っています。vLLMを使うと、ほかのアプリから呼び出せるAPIとしてモデルを動かせる点も紹介しています。

これは一台のPCでの構築記録で、同じ速さや手順がほかの環境でも再現するとは限りません。ドライバーやROCm、vLLMの組み合わせには相性があり、記事中の入手先や手順も変わり得ます。試すときは各ソフトの公式案内と対応表を確認しましょう。