MacOSに最適化したローカルLLM実行基盤「Swama」

東京にあるベンチャー企業が開発したMac用のAI実行ソフト

Mac用のプログラミング言語を使いMacのハードウェアを有効利用できるMLXという仕組みも取り入れたことで、

Ollamaより処理速度を約1.5～2.0倍に向上させることに成功しました。

ということです。これは気になりますね！

このプログラムはオープンソース（MIT License）で公開されています。

https://github.com/Trans-N-ai/swama