要約

きっかけ：要約は「大きいモデルほど正確」なのか 要約タスクは、生成タスクと違って「元の文章にある事実をどれだけ正確に保持できるか」が問われる。直感的には大きいモデルほど正確そうだが、本当にそうなのか気になったので検証してみた。 架空のプレスリリース風の文章(会社名・製品名・価格・発売日・電池持続時間・社長名・売上目標など、チェック可能な事実を12項目仕込んだもの)を用意し、3.4GBの最小モデルから13.8GBの最大モデルまで4サイズで150字程度に要約させ、どの事実が正確に残り、どの事実が間違って伝わったかを1つずつ照合した。 結果：最大モデルが数字を捏造していた 結果は「大きいほど正確」を裏切るものだった。 Gemma4-E2B(最小・3.4GB): 事実誤りゼロ。ただし保持できた事実は7項目と少なめで、内容もやや抽象的 Gemma4-12B-Heretic: 発表日と発売日を取り違える誤りが1件 Qwen2.5-14B: 事実誤りゼロで、保持できた事実は12項目中10項目と今回最も正確かつ詳細 gpt-oss-safeguard-20B(最大・13.8GB): 存在しない年号を捏造する誤りが1件 gpt-oss-safeguard-20Bが犯した「捏造」 一番問題だったのがこれ。原文には「今後3年間で…売上を…50億円規模まで拡大する目標」としか書かれていない(具体的な年号は一切登場しない)。ところがgpt-oss-safeguard-20Bの要約は、こう書いていた。 「2027年までに売上を50億円へ拡大」 「2027年」という具体的な年号は完全な捏造。しかも記事の発表日が2026年9月なので、「3年間」なら本来2029年頃になるはずで、算数としても合っていない。原文に無い情報を、さも書いてあったかのように具体的な数字で断言してしまうのは、要約タスクとしてはかなり質が悪いタイプの誤りだった。 Gemma4-12B-Hereticの「発表日/発売日」取り違え 原文では「発表日は9月10日、発売日は10月15日」と明確に区別されているが、Gemma4-12B-Hereticの要約はこう書いていた。 「テックフィールド社は、10月15日に…新モデルを発表する」 発売日の日付を、発表日の文脈に誤って結びつけてしまっている。前回・前々回の記事でも見てきたような「それらしいが微妙にズレている」タイプの誤りで、数字自体は原文に実在するものを使っているぶん、捏造よりは軽微ではあるものの、事実関係としては誤りだった。 Qwen2.5-14Bは会心の出来 対照的に、Qwen2.5-14Bの要約は事実誤りゼロで、しかも一番詳細だった。 「テックフィールドは2026年9月10日、家庭用気象観測デバイス「スカイセンサーZ3」の新モデルを発表。価格は12800円で、10月15日発売。バッテリー持続時間が72時間に延び、Bluetooth 5.3に対応。田中一郎社長はコスト削減により価格を下げつつ性能を向上させたと説明。同社は3年以内に売上を50億円に拡大し、来年前半には台湾市場への輸出を計画している。」 発表日と発売日を正しく区別し、価格・電池持続時間・Bluetooth規格・社長名・売上目標・海外展開時期まで、10項目を過不足なく織り込めていた。文字数は指定の150字をやや超えているが、正確性を優先した結果として妥当な範囲だと思う。 結論 「大きいモデルほど正確」は成り立たなかった — 最大のgpt-oss-safeguard-20Bが唯一「存在しない年号」を捏造した 最小モデルは誤りゼロだが情報量も少ない — Gemma4-E2Bは安全側に倒れて誤りを避けた代わりに、詳細さで見劣りした 今回最も優秀だったのは中間サイズのQwen2.5-14B — 正確性・情報量ともに最高スコア 要約の誤りには2種類ある — 「原文にある情報を誤って結びつける」(Gemma4-12B-Heretic)と「原文に無い情報を捏造する」(gpt-oss-safeguard-20B)は、どちらも事実誤りだが後者の方が深刻 要約タスクでは速度より正確性の検証を優先すべき — 特に数字や固有名詞が絡む要約では、鵜呑みにせず原文と突き合わせる習慣が欠かせない サイズが大きいから、速いから、といった理由だけでモデルを信頼せず、実際に元の文章と付き合わせて検証することの大切さを、今回も痛感する結果になった。