AWS、大規模文書分析でRAGの限界を超える「タスク認識型知識圧縮（TAKC）」を発表　オープンソース実装も公開

要点

• AWSが、大量の文書から情報を統合・分析する新手法「タスク認識型知識圧縮（TAKC）」を発表した。

• 従来のRAGが苦手とする、複数文書にまたがる関連性の抽出や、語彙的な類似性がない情報の検索に対応する。

• タスクごとに異なるプロンプトを用いてドキュメントを事前に8分の1から64分の1に圧縮し、ナレッジベース全体を俯瞰した回答を可能にする。

• クエリの複雑さに応じて適切な圧縮レベルの文書を呼び出す「マルチレート圧縮」を採用している。

• AWS環境にデプロイ可能なオープンソースの実装テンプレートも提供される。

• アマゾン ウェブ サービス（AWS）は2026年7月27日、公式のAWS ML Blogにて、大規模な文書群の分析において従来のRAG（検索拡張生成）の限界を解消する新しいアプローチ「タスク認識型知識圧縮（Task-aware knowledge compression: TAKC）」を発表した。本技術は、数百に及ぶドキュメントから必要な情報をタスクごとに抽出・圧縮してデプロイする手法であり、AWS環境にデプロイ可能な完全なオープンソース実装も提供されているという。

従来のRAGが直面する「複雑な分析」の壁

AIによる文書検索と回答生成を組み合わせた「RAG（検索拡張生成）」は、特定の質問に対して関連する文書の断片を検索して提示することには優れている。しかし、金融のデューデリジェンス（投資対象の価値やリスクを詳細に調査するプロセス）や規制コンプライアンスのレビューといった、数百もの文書にまたがる複雑な分析タスクでは限界に達しやすいという。

従来のRAGで用いられる類似性検索（入力された質問と意味的に似た文書の断片を探し出す手法）では、個別の文書の断片を拾い上げることはできても、複数の文書にまたがる複雑なつながりを見落としてしまう。また、関連する情報同士に単語の共通性（語彙的な類似性）がない場合には、検索から漏れてしまうという課題があった。

タスクごとに文書を最適化する「TAKC」の仕組み

今回発表されたTAKCは、大規模言語モデル（LLM）を活用し、元のドキュメントを事前にタスクに応じた短い表現へとオフラインで圧縮しておく手法である。

ドキュメントから抽出するべき情報は、実行するタスクによって大きく異なる。例えば、ある企業の年次報告書を「財務分析」のタスクのために圧縮する場合、売上高、利益率、キャッシュフローといった財務指標に関わる数値データが必要となる。一方で、同じ年次報告書を「コンプライアンスレビュー」のタスクのために圧縮する場合は、規制の引用や過去の違反履歴といった情報が必要になる。

一般的な要約手法ではすべての情報を網羅しようとするため、特定の用途における情報の密度が薄まってしまう。これに対しTAKCでは、特定のタスクという「フィルター」を通してドキュメントを圧縮することで、必要な情報だけを残し、不要な部分を削ぎ落とすことができる。これにより、テキストをAIが処理する単位である「トークン」の消費量を、元のドキュメントの8分の1から64分の1にまで大幅に削減できるとしている。

5億ドルの買収シナリオにおける効果

AWSは具体的なユースケースとして、プライベート・エクイティ（PE）ファンドが製造企業の5億ドル規模の買収を評価するシナリオを挙げている。

この調査チームは、12の関連会社における5年分の財務諸表、200以上のサプライヤー契約書、8つの工場の環境コンプライアンス報告書、50以上の法的訴訟文書を分析する必要がある。ここで「サプライヤーの契約条件と現在進行中の法的訴訟を踏まえ、どのような連結財務リスクがあるか」と質問した場合、必要な情報は数百もの文書に分散しており、かつ各情報に関連する単語の類似性もないため、従来のRAGでは回答を組み立てることができない。

TAKCでは、事前にドキュメント同士のつながりを考慮したタスク固有の圧縮が行われるため、個別の断片ではなく、ナレッジベース全体の情報に基づいた回答が可能になる。

システム構成と運用方法

TAKCのシステムでは、ドキュメントの圧縮処理はクエリの実行時ではなく、事前にドキュメントごと、かつタスクのタイプごとにオフラインで1回だけ実行される。

圧縮時に使用されるプロンプト（AIへの指示テキスト）は、AWS Systems Manager Parameter Store（システムの設定値を一元管理するAWSのサービス）やAmazon S3（データの保存・管理を行うAWSのストレージサービス）といったバージョン管理可能な環境に保存することが推奨されている。これにより、プロンプトの変更履歴を監査し、プロンプトが更新された際には自動的に文書の再圧縮をトリガーする仕組みが構築できるという。

実際のクエリ処理時には、システムは元の巨大な文書ではなく、事前圧縮されたデータを利用して回答を生成する。これにより、検索結果の上位k個の断片にのみ依存するのではなく、圧縮された形でナレッジベース全体を視野に入れた回答が可能になり、文書間のつながりが維持される。

柔軟な要求に対応する「マルチレート圧縮」

ユーザーからの質問は、難易度や必要な詳細度がそれぞれ異なる。例えば、「第3四半期の売上高はいくらか」という単純な質問と、「関連会社全体のサプライヤー支払い条件と四半期キャッシュフローの関連性を分析せよ」という複雑な質問では、求められる情報の深さが大きく異なる。

TAKCではこの課題に対応するため、各タスクタイプに対して4つの異なる圧縮レベル（ティア）を維持する「マルチレート圧縮」という仕組みを採用している。

もし最も圧縮されたデータでは情報が不足していると判断された場合、システム内の「クエリ複雑性アナライザー（クエリの難しさを判別する機能）」が自動的に判断し、より多くのコンテキスト（文脈情報）が残されている低い圧縮ティアのデータへと処理をルーティングする仕組みになっている。

補足

AWSはブログ記事内で、このTAKCの仕組みを自社のアカウント上に即座に導入できる完全なオープンソースの実装テンプレートを公開しており、開発者が自ら検証環境を構築できるようサポートしている。