Gemini 3.7 Flash レビュー：Googleの廉価モデルはもはや「力不足」ではない

要約

• Gemini 3.7 Flashは、単一のプロンプトから2分13秒でプレイ可能なブラウザゲームを構築しました。これは3週間前にGemini 3.6 Flashが完全に失敗したタスクです。
• 橋の論理パズルではClaude Fable 5と同じ誤答を出し、正しく設定した数学の問題の実際の計算を途中でやめてしまいました。
• このモデルは12月31日まで、3.6 Flashの半額である入力100万トークンあたり75セントで動作し、1月1日に1.50ドルに倍増します。

Googleは8月13日にGemini 3.7 Flashをリリースし、初日から160カ国以上で一般公開されました。最大100万の入力トークンを受け入れ、64,000を返し、画像、ビデオ、オーディオ、PDFを読み取り、ツールを呼び出してコンピュータを操作できます。

Flashは、問題が困難な時に頼るモデルではありません。テキストを分類したり、エージェントのセッションがコンテキストで崩壊する前に圧縮したり、フラッグシップモデルに読ませるほどのコストをかけたくないドキュメントを要約したりするために使用するモデルです。

そうした種類の仕事で判断すれば、3.7 Flashは真のアップグレードです。それ以外で判断すれば、無料でダウンロードできるソフトウェアに文章力で劣る、有能なモデルに過ぎません。

Google自社のベンチマークシートでは、テストされた18のカテゴリーのうち11で、3.7 FlashはClaude Sonnet 5とGPT-5.6 Terraを上回っています。主な数値は、Code Arenaのウェブ開発ボードで1,588 Elo、AutomationBenchで30.4%です。これらはいずれもGoogleの手法によるものなので、リードは確定した事実ではなく同社の主張として扱ってください。

我々はGoogleの主張通りであるかを確認するため、モデルをテストしました。その結果がこちらです。

コーディング：一発で動作するものを構築できるか？

このテストはゼロショット・コード生成を測定します。つまり、コピーする例もなく、修正する機会もない状態で、モデルが1つの指示から動作するソフトウェアを作成できるかどうかです。ブラウザゲームのプロンプトを1つ渡し、バグが含まれていても返ってきたものをそのまま実行します。追跡調査もエラー報告も、2度目の試行もありません。

Gemini 3.7 Flashは2分13秒で合格しました。ゲームは初回実行でプレイ可能で、構文は美しく、衝突判定とスコアリングのロジックも維持され、ビジュアルの質は価格帯から予想されるものを上回っていました。

ここで重要な比較対象はフラッグシップではありません。7月21日にリリースされ、動作するファイルを全く作成できなかったGemini 3.6 Flashです。そのHTMLは形式が崩れており、要素のレンダリングに失敗し、出力を修正するよう求める追記プロンプトも功を奏しませんでした。