AWS、Bedrock上のOpenAIモデルにおける「正解コスト」とエージェント実行効率の検証結果を公開

要点

• アマゾン ウェブ サービス（AWS）は2026年9月11日、Amazon Bedrock上で提供されるOpenAIモデル群のベンチマーク検証結果を公式ブログで公開した。

• モデル選定の基準として、カタログ上の「100万トークンあたりの単価」だけでなく、「正解1件あたりの実質コスト」やエージェント処理におけるターン数を重視するアプローチを提唱している。

• 評価対象はBedrock上の「gpt-5.6-luna」「gpt-5.6-terra」「gpt-5.6-sol」と、OpenAI APIの「gpt-5.4-mini」「gpt-5.4-nano」の計5モデルである。

• オープンソースのテストツールを用い、数学や科学の難関ベンチマーク、Web調査エージェント、実務成果物の品質など多角的な測定が行われた。

• アマゾン ウェブ サービス（AWS）は2026年9月11日、機械学習に関する公式ブログ（AWS ML Blog）において、クラウド基盤「Amazon Bedrock」上で利用可能なOpenAIモデル群のベンチマーク検証結果を公開した。生成AIアプリケーションの実運用で重要となる「成果に対するコスト」に着目し、従来のトークン単価の比較では見えにくい正解率やマルチターンのやり取り回数による実質的な費用差を明らかにしている。オープンソースの検証ツールを用いて、Bedrock上のモデルとOpenAI APIで広く利用されている低コストモデルとの実務的な性能比較が行われた。

トークン単価と実運用コストの乖離

生成AIアプリケーションを開発する組織では、モデルのコストを比較する際に「100万トークンあたりのドル単価」という料金表の数値を基準にすることが一般的である。しかし、実際のプロダクション環境で購入されているのはトークンそのものではなく、サポートチケットの解決や調査資料の作成、正確な財務要約といった「成果（アウトカム）」であるとAWSは指摘している。

カタログに記載された定価と最終的な成果の間には、定価だけでは見落とされがちな乗数（マルチプライヤー）が存在するという。具体的には、モデルが正解を出力する頻度（正解率）や正解に至るまでに必要なトークン数、そして自律型エージェント処理におけるターン数（ユーザーとAIの間で発生するやり取りの往復回数のこと）が挙げられている。エージェント処理ではターンを重ねるごとに長大化する会話履歴が毎回再送信されるため、ターン数が請求額を大きく左右する要因となる。

検証対象となった5つのモデルと選定理由

今回のベンチマーク検証では、Amazon Bedrock（複数の基盤モデルをAPI経由で利用できるAWSのマネージドサービス）上で提供されている「gpt-5.6-luna」「gpt-5.6-terra」「gpt-5.6-sol」の3モデルが評価された。

同時に、OpenAI APIで広く利用されているコスト効率重視のモデル「gpt-5.4-mini」および「gpt-5.4-nano」の2モデルがベースラインとして選定された。この2モデルを選んだ理由についてAWSは、世代の異なるモデル同士を単純比較するためではなく、多くの開発チームがコスト最適化の出発点として利用している実態に合わせたためだと説明している。「現在miniやnanoを運用しているが、Bedrock上の新モデルに移行する価値はあるか」という現場からの疑問に答えることが選定の狙いであるという。

コストと実用性を評価する3つの問い

本検証では、ワークロードに適したモデルを選択するために以下の3つの問いを設定している。

1. 正解1件あたりのコストはいくらか: 単なるトークン単価ではなく、正解を得るために実際に費やしたコストを算出する。
2. エージェントの実行軌跡にいくらかかるか: 往復回数（ターン数）の増加が総コストに与える影響を把握する。
3. 専門職が受け入れられる品質の成果物を生成できるか: クイズ形式の設問ではなく、実際の業務で納品される実務レベルの成果物で評価する。

オープンソースハーネスによる測定方法

検証には、GitHub上でオープンソースとして公開されているテスト用ハーネス「openai-on-aws/benchmarks-openai」が用いられた。このハーネスは単一のコードパス（OpenAI Responses API）を使用し、評価ロジックを一定に保ったままバックエンドとモデルIDを切り替えてテストを実行する仕組みとなっている。

実運用のデプロイ構成を反映するため、Amazon Bedrock上のモデルは推論（reasoning：モデルが回答を導き出すために内部で行う思考プロセスのこと）を無効化した状態で実行され、OpenAI APIのベースラインモデルはデフォルト設定で実行された。

測定対象は大きく3つに分かれている。最先端モデルの性能差を浮き彫りにする単一呼び出しの精度とコスト（数学競技のAIME、大学院レベル科学のGPQA Diamond、難関推論のMMLU-Pro）、ライブのWeb検索タスクにおけるマルチターンのエージェント軌跡、そしてルーブリック（評価基準）に基づいて採点される専門職向け成果物である。採点には決定論的なチェックに加え、評価対象外のモデルである「gpt-5.5」をLLMジャッジ（大規模言語モデル自身を評価者として用いる手法）として採用し、プロンプトのハッシュ値を固定・記録した上でタイムスタンプ付きのJSON形式で結果が出力された。

正解あたりコストの算出とデータの解釈

「正解あたりのコスト」の測定においては、正解・不正解を問わずモデルが試行した全体の消費金額を正解数で割ることにより、サンプル内での正解1件あたりの実測コストが算出された。AIMEベンチマークにおいて精度と正解あたりコストの明確な傾向が示され、GPQA DiamondやMMLU-Proでも同様のパターンが確認されたという。

AWSは、今回の検証におけるサンプルサイズが48〜198項目であることから、わずかな差については方向性を示す目安として扱い、モデルを最終決定する前に自社の実際のワークロードで同様の評価を実施することを推奨している。

補足

Amazon Bedrockは、AWSが提供するエンタープライズ向けの生成AIプラットフォームであり、主要なAI企業が提供する複数の基盤モデルをセキュアな環境で統合的に利用できる。