日本語

きっかけ：「日本語特化モデル」って本当に日本語が上手いのか 「日本語特化ファインチューン」を謳うモデルは、素直に「汎用モデルより日本語が上手いんだろうな」と思ってしまう。でも実際にちゃんと比較したことはなかったので、今回は速度を脇に置いて、日本語の品質そのものを検証してみた。 日本語特化モデルとしてELYZA-JP-8B・Swallow-8B(どちらもLlama-3-8Bベースの日本語チューン)、汎用モデルとしてLlama3.1-8B・Qwen3.5-9Bを用意。テストは3種類——①いつもの400字程度の日本語説明、②カジュアルな文章をビジネス敬語に書き換える課題、③慣用句・四字熟語の意味を説明する課題——で、実際の出力を読み比べた。 結果マトリクス 先に結論を見せると、こうなった。「日本語特化だから安心」でも「汎用だから見劣りする」でもない、まだら模様の結果になった。 日本語生成：Swallow-8Bが書きかけで終了 400字程度の説明を求めたところ、ELYZA-JP-8B・Llama3.1-8B・Qwen3.5-9Bはいずれもきちんと本文を書き切った。ところが日本語特化のはずのSwallow-8Bだけ、こうなった。 「ローカルLLMを自宅PCで動かすメリットは、以下の点が挙げられます。」 これで終わり。本文が一切書かれず、前置きだけで生成が止まってしまった(トークン数もわずか29)。日本語特化モデルの方が、まさかの「書きかけ放置」という結果になった。 敬語書き換え：汎用モデルの方が文法ミスをしていた カジュアルな文章「明日の会議、時間変更ってできる?」をビジネス敬語に直させたところ、こちらは逆に汎用モデルの方でミスが出た。 Llama3.1-8B: 「午後はご都合をご教えて頂ければと思います。」 「ご教えて」は日本語として不自然・不正確な敬語表現(正しくは「教えていただければ」「ご教示いただければ」等)。一方、ELYZA-JP-8B・Swallow-8B・Qwen3.5-9Bはいずれも文法的に正しい敬語表現で書き直せていた。Qwen3.5-9Bに至っては、宛名・件名・署名まで含む本格的なビジネスメール形式に組み立てていて、この課題では一番凝った出力だった。 慣用句説明：Swallow-8Bが「日本語で答えることすら」できなかった 一番衝撃的だったのがこれ。「猫の手も借りたい」「石の上にも三年」「一石二鳥」の意味を説明させる課題で、Swallow-8Bは全問英語で回答、しかも慣用句自体を直訳した意味不明な英語フレーズにしてしまっていた。 Swallow-8B: 「“Cats’ hands are needed” is a Japanese idiom that means…」「“Three years on a stone” is a Japanese idiom that means…」 これは英語の慣用句として存在しないフレーズを、さも実在するかのように提示してしまっている。日本語特化モデルとは思えない結果だった。 一方、Llama3.1-8B(汎用)は日本語では回答できていたものの、「石の上にも三年」の意味を取り違えていた。 Llama3.1-8B: 「あることが成功したことをもとに前を急ぐことのないよう、細心の注意を払うこと。」 これは誤り。「石の上にも三年」は本来「辛くても我慢強く続ければいつか報われる」という忍耐についての教えであり、「過去の成功に基づいて慎重になる」という意味ではない。 ELYZA-JP-8BとQwen3.5-9Bは、3つとも正確かつ自然な日本語で説明できていた。 結論 「日本語特化」は品質を保証しない — Swallow-8Bは日本語特化を謳いながら、生成の途中終了・英語での誤答という、この4モデル中最も深刻な問題を起こした 汎用モデルも侮れないが、細部でミスは出る — Qwen3.5-9Bは全課題で高品質だった一方、Llama3.1-8Bは敬語の文法ミスと慣用句の意味の取り違えという、2種類の誤りをそれぞれ別の課題で出した 今回最も安定していたのはELYZA-JP-8BとQwen3.5-9B — 日本語特化・汎用という区分ではなく、モデルそのものの完成度で差がついた 「特化」の看板だけで選ばず、実際の出力で確認するべき — 特に日本語の正確性が重要な用途では、ラベルより実測が頼りになる 「日本語特化」という言葉の響きに引っ張られず、実際にタスクをやらせて読み比べることの大切さを、今回もまた実感する結果になった。