CloudflareのAI Gateway、モデルの過剰利用を可視化する「User Insights」機能アップデートを発表

要点

• Cloudflareは「AI Gateway」の分析機能「User Insights」を更新し、AIモデルの過剰利用を検知する新機能などを追加した。

• 単純な要約や書式整形に高性能な推論モデルを使用しているケースを特定できる「Model overkill」ビューが提供される。

• トラフィックをコーディングやデータ分析など5つのカテゴリに分類する「Task analysis」や、対話の往復回数を可視化する「Turns analysis」を導入した。

• コスト削減の余地を示す「Potential Savings」ビューに加え、自動で最適なモデルへ振り分ける「Auto Router」のパブリックベータ版も提供開始された。

• 新機能はAI Gatewayの全ユーザーに対して追加料金なしの無料で提供される。

• 米Cloudflareは2026年9月30日、同社のAIトラフィック管理プラットフォーム「AI Gateway」において、利用状況の分析機能「User Insights」を大幅に強化したと公式ブログで発表した。モデルの過剰利用（オーバースペック）を特定する機能やタスク別の分類機能、対話ターン数の分析機能が追加されたほか、自動でモデルを選択する「Auto Router」のパブリックベータ版も同時に公開されている。

トークン数だけでは見えないAI利用実態の可視化

Cloudflareは前月にUser Insightsを立ち上げ、どのユーザー、アプリケーション、タスク、モデルがトラフィックを発生させているか、また利用量やコストの急増といった異常値を把握できる仕組みを提供していた。しかし同社によると、リリース以降、ユーザーから「リクエスト数やモデル名、トークン数だけでは実態の一部しか見えない」というフィードバックが寄せられていたという。

組織内でAI利用が拡大するにつれて、コストの増加や応答速度の低下といった課題が生じやすい。その原因には、開発者がより複雑なコーディングにAIを活用しているケースもあれば、AIエージェントが必要以上に呼び出しを繰り返しているケース、あるいは特定のユーザーやエージェントが集中的にリソースを消費しているケースなどが考えられる。

同じトークン数であっても、それがコードレビューなのか、調査タスクなのか、エージェントによる連続的な処理なのかによって作業の性質は大きく異なる。Cloudflareは、タスクの内容を理解しなければモデルの選択が適切かどうかを評価できないとし、今回のアップデートで文脈（コンテキスト）を可視化する機能を追加したと説明している。

モデルの過剰性能をあぶり出す「Overkill」ビュー

新たに追加された「Model overkill」ビューは、実行されているタスクに対して選択されたモデルの性能が高すぎるケースを特定する機能だ。例えば、単純なテキストの書式整形や短い要約といった軽微な処理に対して、高コストな推論モデルが使われている状況などを可視化できる。

この機能により、組織は過剰利用のパターンに関連しているユーザー、エージェント、アプリケーションを特定し、その背景にあるタスクの調査に着手できるようになる。モデルが過剰に使われる背景としては、デフォルト設定のまま変更されていないことや、ユーザーがどのモデルを選ぶべきか判断できていないこと、あるいはエージェントがすべての処理ステップで同一のモデルを使うよう設定されていることなどが挙げられるという。

なお、同社はこのビューについて、単純な性能ランキングを表示したり代替モデルを自動的に推奨したりするものではなく、組織が適切な問いを立てるためのツールであると説明している。具体的には、そのタスクにモデルが適しているか、追加の能力が結果を向上させているか、より高速かつ安価なモデルで同等の成果が得られないか、特定のワークフローや利用者に起因していないかなどを検証するための出発点として位置づけられている。チームはレイテンシ、入出力トークン数、会話のターン数、総コストを比較しながら、変更の要否を判断できる。

業務内容を5つに分類する「タスク分析」

新機能の「Task analysis」では、AI Gatewayを通過する会話を作業の種類ごとにグループ化して表示する。初期段階では「コーディング」「リサーチ」「文章作成」「要約」「データ分析」の5つのカテゴリが用意されている。

この分類により、モデル名の一覧だけでは把握できなかった組織ごとの利用実態が明らかになる。例えば、エンジニアリングチームが主にコーディングやデバッグにAIを使用している一方で、別のチームは調査や要約を中心に利用しているといった差異がデータとして示される。また、高機能なモデルに送信されているリクエストのうち、予想以上に多くの割合が単純な作業で占められているといった事実を発見することも可能になるという。組織は既存のトラフィックデータをもとに、各モデルが本来得意とする用途で使われているか、あるいは既定のモデルが一律に適用されすぎていないかを検証できる。

会話の往復回数から真のコストを測る「ターン数分析」

AIの利用において、1回のやり取りで完了する作業もあれば、質問や修正、追加の指示を繰り返して完了する作業もある。「Turns analysis」は、タスク完了までに要したやり取りの回数（ターン数）を可視化する機能だ。

複雑な作業において対話が長くなること自体は問題ではないものの、単純なタスクで何度もターンが発生している場合は、プロンプトの記述内容や選択しているモデル、ワークフロー自体に改善の余地がある可能性を示唆している。Cloudflareは、初回のリクエストにかかるコストだけでなく、タスクが完了するまでに費やされた時間、トークン数、金銭的コストの総額を比較することが重要であり、想定以上に時間やコストがかかっているワークフローを特定する手がかりになると述べている。

潜在的削減効果の提示と「Auto Router」のベータ提供

今回のアップデートには、コスト最適化を支援する「Potential Savings」ビューと、新機能「Auto Router」のパブリックベータ版も含まれている。

Potential Savingsビューは、出力の品質を損なうことなく、より安価または高速なモデルで処理できた可能性のあるリクエストを可視化し、削減余地を提示する。

さらに同時に公開されたAuto Routerは、タスクの種類やモデルの適合度に関するシグナルを自動的に適用し、ワークロードごとに個別のルーティングルールを手動で設定することなく、コスト削減を実現する機能となっている。

これらのUser Insightsにおける新機能群は、AI Gatewayを利用しているすべてのユーザーに対し、追加料金なしの無料で提供される。