OWN NEWS GATHER
← 戻る
GitHub Copilot Changelog

GitHub Copilotにデスクトップアプリを操作する「Computer use」機能が追加　CLIと専用アプリでパブリックプレビュー開始

要点

  • GitHubは、macOSおよびWindows向けの「GitHub Copilot CLI」と「GitHub Copilot」アプリにおいて、デスクトップ操作を代行する「Computer use」のパブリックプレビューを開始した。

  • 画面情報の読み取りやマウスクリック、文字入力、キー操作などを通じ、APIを持たないレガシーソフトやGUI専用ツールの作業自動化に対応する。

  • 操作実行前のユーザー承認確認やOS権限の管理、組織レベルでの機能無効化設定など、ユーザーが制御を維持するための安全機能が備わっている。

  • コマンド「/computer on」の実行や設定画面の切り替えによって、各環境ですぐに利用を開始できる。

  • 米GitHubは2026年10月1日（現地時間）、開発者向けAI支援環境「GitHub Copilot」において、PC上のデスクトップアプリケーションを自動操作できる新機能「Computer use（コンピュータ操作機能）」のパブリックプレビューを提供開始したと発表した。

  • 本機能は、macOSおよびWindowsで動作する「GitHub Copilot CLI」と「GitHub Copilot」デスクトップアプリ向けに提供される。これにより、従来のコード補完やターミナル支援にとどまらず、PC画面上で動作する各種アプリケーションを横断した作業の自動化が可能になるという。

画面を見ながらGUIを操作、API非対応アプリの作業も代行

「Computer use」は、ユーザーに代わってデスクトップアプリケーションの画面を認識し、各種操作を実行する機能だ。

具体的には、OSのアクセシビリティ機能が提供する情報や画面上の視覚的コンテキスト（見た目の情報）を読み取ったうえで、ボタンやコントロールのクリック、テキストの入力および編集、キーボードのキー押下、スクロール、ドラッグといった操作を自律的に行う。さらに、単一のソフトウェア内にとどまらず、複数のアプリケーションをまたぐ一連のワークフローも操作できるとしている。

GitHubによると、この仕組みにより、これまで自動化が難しかった業務やタスクの支援範囲が大きく広がるという。従来、外部ツールからアプリケーションを操作するには、専用のAPIやCLI（コマンドラインインターフェース）、あるいはMCP（AIモデルと外部ツールを接続するオープン規格であるModel Context Protocol）などの連携インターフェースが必要だった。しかし「Computer use」を利用すれば、そうした連携機構を持たない旧来のレガシーソフトウェアや、マウス操作を前提としたGUI専用アプリケーションであっても、Copilotが人間と同じように画面を操作してタスクを進められるようになる。

公式の案内では、Webブラウザ（Safari）を操作して経費精算のワークフローを進めるデモ動画が紹介されているほか、ブラウザ上の通知を要約する作業、プレゼンテーション資料内のコンテンツを更新する作業、デスクトップアプリケーション間で情報を受け渡して処理を進める作業などが具体的な活用例として挙げられている。

ユーザーの主導権を保つ安全設計と権限管理

デスクトップ画面をAIに操作させるにあたり、セキュリティと操作の透明性を保つための制御機能も組み込まれている。GitHubは、操作の主導権は常にユーザー側にある（You remain in control）と説明している。

Copilotがアプリケーションを制御しようとする際には、事前にユーザーへ操作の承認を求めるダイアログが表示される。特定のアプリケーションに対して「常に許可」を設定した場合でも、後から設定を見直したり、許可状態をリセットしたりすることが可能だ。

また、macOS環境で利用する場合には、OS側のセキュリティ要件に従い、画面の読み取りに必要な「画面収録（Screen Recording）」や操作に必要な「アクセシビリティ（Accessibility）」の権限設定画面へ誘導する案内が表示される。さらに、企業やチームで導入している環境向けには、組織の管理設定（Organization-managed settings）から「Computer use」機能自体を一括で無効化できる仕組みも用意されているという。

利用開始手順と効果的な指示の出し方

「Computer use」は、対応する環境で簡単な手順を踏むことで有効化できる。

「GitHub Copilot CLI」を利用している場合は、ターミナル上で /computer on コマンドを実行することで機能が有効になる。現在の動作状態を確認したいときは /computer show を、機能を無効化したいときは /computer off を実行する。

一方、「GitHub Copilot」デスクトップアプリを利用している場合は、アプリ内の「Settings（設定）」から「Computer Use」の項目を開き、「Enable Computer Use」をオンに切り替えることで利用可能になる。デスクトップアプリ上でも、CLIと同様に /computer on コマンドを入力して有効化できる。

なお、GitHubは「Computer use」を効果的に活用するコツとして、指示（プロンプト）を出す際に「達成したい最終結果（ゴール）」「対象となる関連アプリケーション」「守るべき重要な制約条件」の3点を明確に記述することを推奨している。明確なゴールと制約を与えることで、Copilotが意図に沿った形でアプリケーションを操作し、スムーズにタスクを完遂しやすくなるという。

元URL