OpenRouter、39種の画像生成モデルを横断比較できる視覚ベンチマーク機能を公開

要点

• OpenRouterが、提供するすべての画像生成モデルの描画能力を視覚的に比較・評価できる新ツール「Visual Image Benchmarks」を公開した。

• 2026年8月時点で利用可能な全39種類のモデルを対象に、同一の難関プロンプトに対する生成結果をグリッド形式で一覧表示する。

• 評価プロンプトは「非日常的な情景」「文字描画」「否定」「一貫性」など7カテゴリに分類され、各モデルの実力差や限界を浮き彫りにするよう設計されている。

• 生成画像の目視確認だけでなく、生成にかかるコスト（価格）や所要時間（生成時間）による並び替え機能を備えている。

• 今後は新モデルの継続的な追加に加え、動画や音声といった画像以外のモダリティへのベンチマーク拡張も予定されている。

• AIモデルのAPIプラットフォームを運営するOpenRouterは2026年8月21日、同サービスで提供している画像生成AIモデルの性能を視覚的に比較・評価できる新ツール「Visual Image Benchmarks」を公開した。

• 同ツールは、2026年8月時点で利用可能な全39種類の画像生成モデルを対象としている。モデルごとの実力差を明確にするために設計された難度の高い検証用プロンプトを与え、それぞれの生成結果をグリッド形式で一覧表示する仕組みだ。利用者は各モデルの描画精度や指示追従性を目視で比較できるほか、生成コストや処理時間に応じた並び替えを行って比較できるという。

画像生成モデル評価における課題と開発の背景

テキスト生成を担う大規模言語モデル（LLM）においては多種多様なベンチマークが存在し、客観的な性能比較が定着している。一方で、画像生成モデルの選定は恣意的になりやすいという課題があった。
OpenRouterによると、従来の画像モデルで公開される作例は見栄えの良い成功例を選別したものが多く、実際の性能を判断しにくい傾向があったという。また、LLMを評価者として用いる自動評価手法（LLM-as-a-judge）では人間が一目で気づくような細かな違和感を捉えきれず、ユーザー投票に基づくアリーナスコア（人間による好みの評価）も利用者の好みを反映するにとどまり、モデルが指示通りに処理を実行できるかという実質的な能力を評価しにくい側面があったと説明している。
こうした背景から、各モデルが持つ本来の性能や限界を人間の目で直接かつ瞬時に判別できる環境を目指し、今回のベンチマークが開発された。

提供中の全39モデルを網羅、価格や生成時間でのソートも可能

「Visual Image Benchmarks」では、2026年8月時点でOpenRouterが取り扱う全39種類の画像生成モデルが網羅されている。共通の検証プロンプトに対する各モデルの出力結果が1つのグリッド画面に集約されており、同一条件下での描画能力の違いを素早く確認できる設計となっている。
また、出力画像の比較だけでなく、実運用を考慮した並び替え機能も備えている。利用者は生成結果を、生成にかかる費用（価格）や所要時間（生成時間）でソートできるため、描画品質だけでなくコストパフォーマンスや処理速度の要件に合わせたモデル選定が可能だとしている。

モデルの限界を浮き彫りにする7つの評価カテゴリ

ベンチマークに採用されたプロンプトは、各画像モデルの能力差を明確にし、その限界を検証する目的で作成されている。初期段階として以下の7つの系統に分類されている。

• 非日常的な情景（Improbable scenes）: 学習データに多い日常的な場面に対し、「フチいっぱいまで注がれたワイングラス」や「閉じた傘」など、通常とは異なる状態を指示通りに描画できるかを試す。
• 数え上げ（Counting）: 「3本の指」の描写や、指定された正確な枚数のカード、指定された個数のサイコロなど、正確な数量を描き分ける能力を測る。
• 文字の描画（Text）: ポスター上への指定された長い文字列の描画や、同一画面内への複数言語の混在など、文字生成の正確性を検証する。
• 空間関係（Spatial relations）: 物体同士の重なりによる遮蔽（オクルージョン）や、鏡への反射といった空間的・光学的関係の整合性を確認する。
• 否定の指示（Negation）: 「縞模様のないシマウマ」や「広告が一切ないタイムズスクエア」など、特定の要素を除外する指示への追従性を試す。
• 画像の編集（Editing）: 参照画像をもとに、最小限の差分での修正や、特定の物体・人物の除去などを正確に実行できるかを評価する。
• 一貫性の維持（Consistency）: 特定の商品を持たせる指示や、4つの参照対象の特徴を崩さずに新しいシーンへ配置するなど、被写体の同一性を保つ能力を検証する。

これらのプロンプトは、「ワイングラスをフチまで満たす指示に従えているか」といったように、人間が見た瞬間に成否を視覚判断できるよう設計されている。

動画・音声への拡張予定とAPIでの活用

OpenRouterは、画像モデルと同様に客観的な品質評価が難しいとされる動画モデルや音声モデルに対しても、本ツールの対象範囲を拡大していく計画を示している。また、プラットフォームに新しい画像モデルが追加された際にも、随時ベンチマークを更新して最新の状態を維持するという。
あわせて、同社は公式Discordの「#feedback」チャンネルにおいて、次世代モデルの評価に適した新たな挑戦的プロンプトの提案を受け付けている。
なお、利用者はベンチマーク上で各モデルの出力結果や傾向を確認した上で、OpenRouterが提供する画像生成APIやChat機能を通じて、自らのプロンプトを用いた実際の画像生成を試すことができると案内されている。