AIが画面を見てウェブを操作、AWSが「Amazon Nova Act」を活用した新しいUXテスト手法を公開

要点

• AWSが、マルチモーダル基盤モデル「Amazon Nova Act」を活用してユーザー体験（UX）テストを自動化・スケールさせる新手法を公開した。

• 従来の自動化ツールとは異なり、Nova Actはスクリーンショットを視覚的に分析することで、人間に近いアプローチで自律的にウェブサイトを操作する。

• UIの変更や動的コンテンツに対しても柔軟に適応できるため、テストスクリプトの破損に伴うメンテナンスコストを大幅に削減できる。

• ドキュメントからテストシナリオを自動生成し、大規模な検証を行って分析インサイトを得るクラウドプラットフォームの構成案が紹介された。

• Amazon Web Services（AWS）は2026年7月14日、同社の公式ブログ「AWS ML Blog」にて、マルチモーダル基盤モデルである「Amazon Nova Act」を活用した、ユーザー体験（UX）テストの自動化に関する新たな手法を公開した。画像とテキストの双方を理解できるモデルの特性を活かし、人間のようにウェブインターフェースを理解・操作するアプローチを提案している。この手法により、組織はユーザーの操作フローにおける摩擦を効率的に検出し、デジタルインターフェースの満足度向上につなげることが可能になるという。

従来のUXテストが抱える限界と自動化の課題

UXテストとは、ユーザーが製品の検索やアカウント作成、購入手続きといった目的のタスクをどれだけ容易かつ効果的に完了できるかを評価するプロセスのことである。システムの機能的な不具合やバグを検証する従来の品質保証（QA）テストとは異なり、UXテストは操作フローにおけるナビゲーションの摩擦や、満足度に影響を与える要素の特定に焦点を当てている。

しかし、従来のUXテストにはいくつかの課題が存在していた。
まず、手動によるテストはスケールしないという問題がある。テスターが検証できるユーザー体験の範囲には限りがあり、どうしても主要な操作経路の検証に偏りがちで、例外的な操作パターン（エッジケース）が見落とされやすい。

また、テストを自動化しようとしても、従来の自動化ツールである「Selenium」や「Playwright」（ブラウザ操作をプログラムで自動化するテストフレームワーク）では限界があった。これらのツールはHTMLの要素セレクタをコードで直接指定して動作するため、UIのデザインやレイアウトが少しでも変更されるとスクリプトが動作しなくなり、メンテナンスに多大な手間がかかってしまう。結果として、多様なデバイスや操作パターンを網羅する包括的な検証を行うには、膨大なコストと時間が必要となり、多くの組織にとって現実的ではない状況となっていた。

視覚認識と自律的な判断で操作する「Amazon Nova Act」

現在一般提供（GA）されている「Amazon Nova Act」は、これらの課題を克服する新しい選択肢を提供する。Nova Actは、あらかじめ定義されたコード上の要素指定に頼るのではなく、ページのスクリーンショットを画像として解析し、人間のテスターと同じように視覚情報に基づいてウェブサイトを自律的に操作するマルチモーダル基盤モデル（画像やテキストなど複数の情報を同時に処理できるAIモデル）である。

モデルはスクリーンショットを通じてページ全体のレイアウトを読み解き、ボタンや入力欄などの操作可能な要素を視覚的な特徴から識別する。そして、文脈を考慮して「次にどの操作を行うべきか」をその都度決定していく。この視覚的な理解により、UIの変更や、従来のスクリプトを破損させていた動的なコンテンツに対しても柔軟に適応してテストを継続できる。さらに、Nova Actが処理の過程で出力する「思考の連鎖（Chain of Thought）」のログを確認することで、ウェブサイトの設計がユーザーにとってどれほど直感的であるかといった分析インサイトを得ることも可能だという。

クラウド上で構築する自動UXテストプラットフォームの仕組み

今回の発表では、ドキュメントからテストシナリオを自動生成し、Nova Actの操作機能を用いて大規模にテストを実行、そして得られた結果を自動分析するクラウドデプロイ型の検証プラットフォームの構築例が示された。

このシステムは4つの主要なレイヤーで構成されており、その第1段階である「ドキュメント処理レイヤー」の仕組みが明らかにされている。
まず、検証対象となるウェブサイトのドキュメントやユーザーガイド、操作フローの仕様書などを、ファイルストレージである「Amazon S3」に保存する。これらの非構造化データが、テストケースを生成するためのコンテキストとなる。
次に、保存されたドキュメント群は「Amazon Bedrock Knowledge Base」（AIがデータを検索して利用できるようにする連携機能）にインジェスト（取り込み）され、意味の類似性に基づいて情報を探す「セマンティック類似性検索」が実行可能になる。
最後に、サーバーレスでコードを実行できるサービスである「AWS Lambda」が起動し、Bedrock上の高度な推論能力を持つAIモデル「Claude 4.5 Sonnet」を呼び出す。これにより、取り込まれた仕様書やガイドから、自動的にテスト用のシナリオやケースへの変換を行うという。

補足

AWSは、Amazon Nova Actを利用することで、UIのワークフロー自動化に対応した信頼性の高いAIエージェントの構築が可能になるとしている。テストケースの生成から実行、解析までの一連のフローを生成AIによって並列化することで、包括的なUX検証を大規模に実行できるようになると説明している。