Foundry Local - Microsoft のローカルAI実行環境

自分のアプリに「端末の中で動くAI」を組み込みたい。Microsoftの「Foundry Local」は、対応するモデルの取得、実行、機器に合わせた加速をまとめて扱う開発者向けの仕組みです。

公式リポジトリによると、CPU・GPU・NPUから利用できる実行方法を選び、チャットや音声の文字起こしをローカルで行えます。OpenAI形式のAPIに対応し、既存の開発コードから試しやすい点も特徴です。

モデル本体は初回に取得が必要です。また、利用状況データの送信について公式のプライバシー説明があります。導入前に対応環境と設定を確認してください。