Amazon Nova Actを活用した外形監視手法をAWSが公開、画面認識AIでUIテストの保守負担を軽減

要点

• 米Amazon Web Services（AWS）が、AIエージェントによる外形監視（シンセティックモニタリング）の実装手法を公式ブログで解説した。

• 「Amazon Nova Act」と「Amazon Bedrock AgentCore」を組み合わせ、UIの画面スクリーンショットを直接視覚認識するアプローチを採用している。

• 従来のDOMセレクターに依存する手法と異なり、わずかなデザイン変更でテストが破損する課題を解消する。

• 3行程度の自然言語指示で操作を定義でき、初期の企業導入環境では90%以上の精度を達成している。

• GitHubのAWS公式サンプルリポジトリにて、一連の実装コードが公開された。

• 米Amazon Web Services（AWS）は2026年9月28日、公式ブログ「AWS ML Blog」において、マルチモーダルモデルを活用したブラウザ操作機能「Amazon Nova Act」と「Amazon Bedrock AgentCore」による外形監視の実装アプローチを公開した。Webアプリケーションにおける重要ワークフローの定期検証において、従来のスクリプト作成・保守に要していた多大な工数を削減する新たなアーキテクチャが提示されている。

外形監視の役割と従来のブラウザ自動化が抱える課題

外形監視（シンセティックモニタリング）とは、自動化されたトランザクションを用いて実際のユーザー操作を定期的に模倣し、システムが期待通りに稼働しているかを検証する監視手法である。エンドユーザーが不具合に直面する前に問題を検知することを目的としており、特に電子商取引（EC）における商品検索、在庫・価格表示、カート操作、決済完了といった重要機能の稼働担保に広く活用されている。

同様の検証ニーズは多様な業種に存在し、金融サービスにおける口座アクセスや取引処理、旅行・ホスピタリティ分野の予約フロー、SaaS（Software as a Service：クラウド経由で提供されるソフトウェア）の新規登録やプラン変更、医療機関の診療予約ポータルなどでも不可欠な要素となっている。

一般に、多くの組織ではメトリクスやログ、トレース、APIレベルの死活監視によってインフラの健全性を監視している。しかし、フロントエンドのデプロイミスによるボタンの破損、外部連携ログイン画面の仕様変更、UIの応答停止といった障害は、バックエンドの指標だけでは検知しにくい。

こうしたUI層の検証にはSeleniumやPlaywrightなどのブラウザ自動化ツールが用いられてきたが、これらはWebページの構造を示すDOM（Document Object Model）のセレクターや要素IDに依存して動作する。そのため、デザインの変更やクラス名の更新といったわずかなUI修正によってスクリプトが破損しやすく、テストコードのメンテナンスや実行タイミングの調整に開発工数の多くが費やされるという課題が存在していた。

画面を視覚認識する「Amazon Nova Act」のアプローチ

今回AWSが公開したアプローチでは、マルチモーダルLLM（画像とテキストの両方を理解できる大規模言語モデル）を搭載した「Amazon Nova Act」を活用することで、セレクター依存の脆弱性を克服している。

Nova Actは、HTML内のCSSクラスやタグ構造ではなく、ブラウザの画面スクリーンショットを画像として直接解析し、視覚的な情報をもとにボタンや入力フォームを認識して操作を行う。人間が目視で確認しながら画面を操作するのと同様の推論を行うため、Webサイトのスタイルやレイアウトに変更が加わっても、スクリプトを書き換えることなく柔軟に追従できる点が特徴だという。

コードの記述量においても差異は顕著である。従来のフレームワークでは、1つの操作フローを定義するためにDOMセレクターやXPathなどを指定する10行以上のコードが必要とされていた。一方、Nova Actを用いた実装では、「チェックアウトボタンをクリックする」「支払いフォームを入力する」「注文を確認する」といった自然言語の指示を3行記述するだけで完結し、セレクターの個別指定や維持管理が不要になるとしている。

90%超の精度を実証、サンプル実装もGitHubで公開

AWSの説明によると、先行して導入されたエンタープライズ顧客のユースケースにおいて、Amazon Nova Actは90%を超える精度を実証したという。

ブログ記事では、Amazon Nova Actと「Amazon Bedrock AgentCore」を連携させたエージェント駆動型外形監視のシステム設計および運用パターンが解説されている。また、このアーキテクチャをそのまま試行・導入できるように、完全な実装コードを含むサンプルリポジトリ（sample-nova-act-synthetic-monitoring）がGitHubのaws-samples上で公開された。

従来の壊れやすいテストスクリプトから脱却し、UIの変更に強く自律的に動作する監視体制の構築を可能にする手法として提供されている。