ローカルLLM(自分専用生成AI)はいかが？（13：日本語チューニングモデル）

読者の皆様こんにちは

AIの日本語は、追加学習でどこまで自然になるのでしょうか。今回はELYZAの公開結果を見てみます。

日本語を日常的に使う人なら、意味は通じても言い回しが不自然な文章に気づくでしょう。

LLMは日本語だけを学ぶわけではありません。文法だけでなく、場面に合った丁寧さや言い回しを自然に出せるかも大切です。

つまりですね、日本語での応答を改善する方法の一つが、日本語のデータを使った追加学習です。ELYZAはQwen2.5-32B-Instructに日本語の追加学習と、思考過程を含むデータでの学習を行い、ELYZA-Thinking-1.0-Qwen-32Bを公開しました。ここでは公開された評価結果を見ていきます。

元のQwenモデルと日本語向けに追加学習したモデルを比べると、どんな差が見えるでしょうか。

内容にはELYZA-Thinking-1.0: MCTS を用いた推論パス探索と模倣学習による Reasoning Model の開発を参照しています。

この記事では同規模のパラメータを持つ他のモデルと、複数のベンチマークを用いて結果を比較しています。

画像はELYZA-Thinking-1.0: MCTS を用いた推論パス探索と模倣学習による Reasoning Model の開発より引用。

結果はReasoning modelの結果を比較した際、ELYZAモデルは5/6のベンチマーク結果で1番、もしくは2番の成果を出しているというものでした。

JHumanEvalのみ本家Qwenよりスコアが下がってしまっていますが、ELYZAは、学習用データにコーディング問題が十分含まれていなかったことが一因と考えています。Shortcut modelにおいては深い思考がそこまで必要ではない日本語タスクにおける性能が高いことが明らかになっています。

全体的には学習結果に対する課題などが明らかになっている部分もありますが、日本語に特化した学習を行うことで日本語での回答に関するスコアを伸ばせている点がみられています。この結果は、日本語での使いやすさを高めるうえで追加学習が有効な場合があることを示しています。ただし、ベンチマークの点数だけで実際の使い心地は決まりません。