【NTTドコモビジネス】部署で使うローカルLLMを共有―複数モデルを社内GPUから提供

新しいAIモデルを試すたび、担当者がそれぞれ高価なGPUを用意するのは大変。NTTドコモビジネスの技術部門は、部署で使えるローカルLLMの共通基盤を作り、複数のモデルを一つの窓口から利用できるようにしました。

モデルの実行場所や、誰がどれだけ使ったかの記録を自分たちで管理できます。利用者は毎回AIの動かし方を組み立てる必要がありません。記事では、新モデルを追加すると部署内の利用が一気にそちらへ移るという、運用して初めて見えた傾向も紹介されています。

「ローカル」といっても各人のPCで動かす方式ではなく、組織が管理するGPUを共有する方式です。機密情報の扱いと運用の手間を、現場でどう両立するかがわかる事例です。

出典：NTTドコモビジネス Engineers Blog、2026年9月14日。画像はAIで作成したイメージです。