米脳科学研究センターTReNDS、Amazon Bedrockを活用した障害の根本原因分析自動化システムを本番導入
要点
-
ジョージア州立大学などの共同研究センターであるTReNDSが、Amazon Bedrockを活用して障害の根本原因分析（RCA）を自動化する仕組みを構築し、本番環境で運用していることを明らかにした。
-
従来はエンジニアがログやスタックトレース、ソースコードを手動で追跡しており、単純なエラーの調査でも1回あたり15〜30分以上の時間を要していた。
-
新システムではCloudWatchのログフィルターがエラーを検知するとAWS Lambdaが起動し、Bedrockを基盤とするAIエージェントが動作する。
-
AIエージェントは周辺ログの文脈取得やGitHub上のソースコード参照を自律的に行い、構造化された分析結果をAmazon SNS経由でチームに通知する。
-
米国ジョージア州立大学、ジョージア工科大学、エモリー大学の共同研究機関である「TReNDS Center（Center for Translational Research in Neuroimaging and Data Science）」が、生成AIプラットフォーム「Amazon Bedrock」を活用してシステム障害時の根本原因分析（Root Cause Analysis: RCA）を自動化するアーキテクチャを構築し、本番環境で運用していることを発表した。AWS Machine Learning Blogを通じて公開された。従来エンジニアが手作業で行っていたログ解析やコード追跡を基盤モデルとエージェント技術で自動化し、インシデント対応の大幅な効率化を図っているという。
システム開発の背景と従来運用の課題
TReNDSは、脳の健康に関する研究に向けた高度な分析手法やニューロインフォマティクスツールの開発を行っている研究センターである。同センターでは2019年からインフラ基盤をAmazon Web Services（AWS）上に構築しており、コンテナオーケストレーションサービスである「Amazon Elastic Kubernetes Service（Amazon EKS）」上で各種研究ツールやAPIなど多様なアプリケーション群を稼働させている。コンテナの各種ログは「FluentBit」を用いて統合監視サービスの「Amazon CloudWatch」へ転送・集約する構成をとっていた。
しかし、運用するアプリケーション群の規模拡大に伴い、調査が必要となるシステムエラーの件数も比例して増大していった。チームにはアラート通知とモニタリングの仕組みがすでに整備されており、障害の発生自体は即座に把握できていたものの、「何かが壊れたこと」を検知することと「なぜ壊れたのか（根本原因）」を特定することの間には大きな作業ギャップが存在していたという。
障害発生時、エンジニアはCloudWatch Logsを開いてスタックトレースを精読し、該当するソースコードファイルを探し出し、頭の中でプログラムの実行経路を辿る必要があった。こうした一連の手動調査は、比較的単純なエラーであっても1件あたり15〜30分を要し、複数のサービスにまたがる複雑な問題ではさらに長い時間を拘束されていた。この調査工程の負担軽減が、チームにとって長年の課題となっていた。
BedrockとStrands Agentsによる自動調査アーキテクチャ
TReNDSの開発チームは、適切なツール連携機能を備えた基盤モデル（Foundation Model）を活用することで、エラーメッセージの単なる要約にとどまらず、文脈の取得からコードの読み込み、構造化された分析レポートの生成までを自律的に遂行できると判断し、自動化システムの設計に着手した。
本番環境に導入された自動分析パイプラインの構成は以下の通りである。
- エラーログのリアルタイム検知:
Amazon EKS上のアプリケーションからFluentBit経由で送信されたログに対し、Amazon CloudWatchの「サブスクリプションフィルター」を適用する。フィルターはERROR、Exception、FATAL、CRITICALといった重大エラーを示す特定のログパターンを常時監視する。 - 調査エージェントの起動:
エラーパターンが検出されると、CloudWatchサブスクリプションフィルターがサーバーレス実行環境の「AWS Lambda」関数をトリガーする。 - 自律的なログおよびコード調査:
Lambda関数内では、オープンソースのエージェント構築基盤「Strands Agents SDK」を用いた調査エージェント（Strands Agent）が実行される。エージェントはAmazon Bedrockを推論エンジンとして使用し、エラー発生箇所の前後にあるログコンテキストの収集や、GitHubから関連するソースコードの取得を行う。 - 分析結果の配信:
基盤モデルがエラーの根本原因を特定し、構造化された分析結果を生成したのち、メッセージングサービスの「Amazon Simple Notification Service（Amazon SNS）」トピックへ発行され、開発チーム宛てに自動配信される。
基盤モデルの推論とツールオーケストレーション
システムの中心的な役割を担っているのはAmazon Bedrockである。エラー内容、関連するソースコード、周辺ログの情報を統合し、実際の根本原因に関する高度な推論処理をBedrock上の基盤モデルが実行する。
また、モデルが外部環境とやり取りするための「ツール利用（Tool Use）」のオーケストレーションには、Bedrock上で動作するStrands Agents SDKが採用されている。利用可能なツールを定義することで、エージェントが必要な追加情報（GitHub上の該当ファイルや前後の実行ログなど）を能動的に取得しながら調査を進める構成を実現しているという。
なお、同センターは今回のアーキテクチャと推奨事項について、TReNDS Centerのチームにおける実運用の知見を共有したものであり、参画大学の公式なガイダンスを示すものではないと付記している。