Amazon BedrockでRAGコストを抑える「クエリ認識圧縮」の手法をAWSが公開、小型モデルでコンテキストを削減

要点

• AWSは、Amazon Bedrockを活用したRAGシステムにおいて、基盤モデルへの入力トークン数を削減する「クエリ認識圧縮」パターンを解説した。

• 通常の検索で得られた大量の文書チャンクを、主要モデルへ送る前に低コストな小型モデルでフィルタリングする仕組みを採用している。

• 入力トークン数を減らしてコストを削減できるだけでなく、無関係な情報を削ることでハルシネーションの抑制にも寄与するという。

• プロンプトキャッシングやIntelligent Prompt Routing、Rerank APIと重ねて適用することで、相乗的なコスト削減が可能だとしている。

• アマゾン ウェブ サービス（AWS）は2026年8月21日（現地時間）、公式ブログ「AWS ML Blog」において、クラウド型生成AIサービス「Amazon Bedrock」上のRAG（検索拡張生成）にかかるコストを削減する手法を解説した。大規模なRAG運用においてコストの主因となる基盤モデルへの入力トークン数を、検索後のデータ圧縮によって抑える「クエリ認識圧縮」パターンを紹介している。回答の品質を維持しながら推論コストを最適化できる設計だという。

大規模RAGにおける入力トークン増大とコストの課題

RAG（Retrieval Augmented Generation：検索拡張生成）は、ユーザーの質問に関連する外部文書を検索・取得し、基盤モデル（FM）へ渡して回答を生成する技術である。この仕組みでは、必要な情報を取りこぼさないよう検索の再現率（リコール）を重視して設定することが一般的であり、広範な文書チャンクが取得される傾向にある。

十分な情報源を確保できる一方で、主要な基盤モデルに送られる入力トークン数が増加し、システムの運用規模が拡大するにつれて利用コストが膨らむという課題が生じやすい。AWSによると、モデル呼び出しごとに発生する入力トークンは、大規模なRAG運用におけるコストの無視できない割合を占めているという。そのため、回答品質を損なわずに主要モデルが処理する入力トークン数を減らす最適化手法が求められていた。

小型モデルでノイズを削る「クエリ認識圧縮」の仕組み

今回AWSが提示したのは、検索処理と回答生成処理の間にフィルタリングを挟む「ポスト検索カスタマイズパターン」である。Amazon Bedrockが持つオープンで構成変更が容易なアーキテクチャを活用し、主要モデルへ到達するコンテキストを絞り込む。

具体的な処理手順として、まずRAGの検索機能を用いて候補となる文書チャンクを幅広く取得する。続いて、最終的な回答を生成する主要モデルへそのまま渡すのではなく、Amazon Bedrock上で利用可能な、より低コストで小型のモデルへそれらのデータを渡す。小型モデルはユーザーの質問（クエリ）と各チャンクを照合し、関連性の高い情報だけを残して不要なコンテキストをふるい落とす。

主要モデルにはこのフィルタリングを経たコンテキストのみが渡されるため、入力トークン数が大幅に削減され、結果として全体の推論コストを抑制できるという。

ハルシネーションの抑制とLambdaによる実装

この手法には、コスト削減に加えて回答精度の安定化という副次的な効果もあると説明されている。入力コンテキストから質問と無関係な情報を排除することで、モデルが誤った情報を事実のように出力してしまう「ハルシネーション（幻覚）」の発生要因となる領域を狭めることができるという。

この処理パターンの中核は、サーバーレスコンピューティングサービスであるAWS Lambda関数を用いて実装できると示されている。AWSの解説では、アーキテクチャの概要やLambdaでの実装方法のほか、圧縮処理に伴うコストモデル、レイテンシー（処理遅延）のトレードオフ、回答品質の評価方法についても触れられている。

既存のBedrock機能との連携による相乗効果

本パターンは、Amazon Bedrockの既存機能と組み合わせることで、さらなるコスト削減効果を引き出すことができる設計となっている。社内データなどと連携して検索を行う「Amazon Bedrock Knowledge Bases」をはじめとする各種RAGリトリーバーと互換性を持つ。

さらに、入力したプロンプトをキャッシュして再利用する「プロンプトキャッシング（Prompt Caching）」や、クエリの内容に応じて適切なモデルへ自動的にルーティングする「Amazon Bedrock Intelligent Prompt Routing」、検索結果を関連度順に再スコアリングする「Rerank API」といった機能の上に重ねて適用できるという。これらを併用することで、複合的なコスト削減が期待できるとしている。

導入に必要な前提条件

このソリューションを実装するための前提条件として、有効なAWSアカウントを保有していること、およびLambda関数がAmazon Bedrockへアクセスできるように権限を付与した「AWS Identity and Access Management（IAM）」ロールを作成することが挙げられている。