4 levels of LLMs (on the go)

Alex Ziskind チャンネルより


GPUメモリサイズやLLMのサイズ変えながらローカルLLMが実行できるか試されています。

どれくらいのGPUを積んだマシンで、どれくらいのLLMが動くのか？

WindowsとMacの違いも説明されています。


英語ですがYouTubeは日本語の翻訳も表示できます。

IT関連の情報は英語圏がはやいので、英語の情報をチェックしてちょっとドヤ顔してね😎

コメント

コメントはまだありません。