GitHub Copilotがアプリをクリック操作、macOS・Windowsでプレビュー

GitHub Copilot CLIとGitHub Copilot appに、macOSとWindowsのデスクトップアプリを操作する「computer use」のパブリックプレビューが追加されました。ボタンのクリックや文字入力をCopilotに任せられ、APIやコマンドラインから扱えないソフトでも、画面を通じて作業を進められます。

APIのないソフトにも、画面から手が届く

Copilotは、アプリから取得できる内容や画面上の情報を読み取り、クリック、文字の入力・編集、キー操作、スクロール、ドラッグを行えます。複数のアプリをまたぐ作業にも対応し、プレゼン資料の更新やアプリ間での情報の転記などを支援できます。公式デモでは、Safariで経費報告の手順を進める様子が示されています。

ただし、すべての自動化を画面操作に置き換える必要はありません。API、MCP、ターミナル、ファイル操作、専用ブラウザーツールが使える場合は、そちらのほうが手順を明確にしやすく、結果も予測しやすいとドキュメントは説明しています。

有効化の方法と、すぐ止める方法

computer useは初期状態では無効です。CLIでは次のコマンドを使います。

• /computer on：有効化
• /computer show：設定を確認
• /computer off：無効化

appではSettings > Computer Use > Enable Computer Useから有効にするか、/computer onを入力します。macOSでは、アプリの操作にアクセシビリティ権限、画面の確認に画面収録権限も必要です。

意図しない動きが出たら、CLIではEscキーを2回押して停止できます。appではStopボタン、またはEscキーで止められます。

保存した許可は、CLIとappで共有される

アプリの操作前に承認を求めるかどうかは、CLIとappそれぞれのツール権限設定で決まります。承認を求められた場合は、そのセッションだけ許可する、次回以降も許可する、拒否する、のいずれかを選べます。

アプリごとの「Always allow」は端末内に保存され、同じコンピューターのCLIとappで共有されます。保存済みの許可はappで確認・削除できますが、削除が効くのは今後のセッションです。実行中のセッションにすでに与えたアクセス権は取り消されません。

拒否ルールは許可より優先されます。また、組織の管理設定で機能が無効になっている場合は、手元で有効化しても利用できません。

画面に表示した機密情報にも注意

パブリックプレビューの仕様は今後変わる可能性があります。画面構成やウィンドウの状態、操作のタイミングが変わると、別のボタンを押したり、違う場所に文字を入力したり、同じ操作を繰り返したりすることがあります。

曖昧な依頼や画面内の内容から、端末・データ・連携先のアカウントに意図しない変更が生じる可能性もあります。表示中の機密情報がCopilotの処理に使われる文脈に含まれることもあるため、機密性の高いアプリや影響の大きい操作を行うアプリでは「Always allow」を避けましょう。

依頼するときは、目的、使うアプリ、守ってほしい条件を具体的に伝えておきたいところです。対象アプリと権限を確認し、実行後の結果も人が確かめる必要があります。