【GIZMODE】“AIミニスパコン”に大興奮。ヘビー級ローカルLLMもさくさく動く｢夢のマシン｣

手のひらサイズの箱で、大きなAIモデルを動かす――ASUS「Ascent GX10」の実機レビューです。AI向けの専用計算機を、普段のパソコンからつないで使う様子が紹介されています。

筆者はgpt-ossの120B版を動かし、論文のPDFについて質問する例を掲載。128GBの共有メモリを備えた製品だからこそ試せる、重いモデルのローカル実行です。

記事には設定の難しさにも触れられています。測定結果はレビュー時の環境によるものなので、購入を考えるなら必要な作業や現在の仕様も確認したいところです。