GitHub Copilot, 이제 데스크톱 앱도 클릭한다

GitHub Copilot에 데스크톱 앱의 버튼을 누르고 텍스트를 입력하는 ‘컴퓨터 사용’ 기능이 추가됐습니다. macOS와 Windows의 Copilot CLI·앱에서 공개 프리뷰로 제공되며, API나 명령줄 연결이 없는 프로그램의 작업도 도울 수 있습니다.

API 없는 앱도 클릭과 입력으로

Copilot은 접근 가능한 앱 내용과 화면을 읽고, 클릭과 텍스트 입력·수정, 키 입력, 스크롤, 드래그를 수행할 수 있습니다. 프레젠테이션을 고치거나 여러 앱 사이에서 정보를 옮기는 작업에도 활용할 수 있죠. GitHub의 공식 데모는 Safari에서 경비 보고서 작업을 진행하는 모습을 보여줍니다.

모든 자동화를 화면 조작으로 바꿀 필요는 없습니다. GitHub 문서는 API나 MCP, 터미널, 파일 시스템, 전용 브라우저 도구를 사용할 수 있다면 대체로 그쪽이 더 구조적이고 예측 가능한 결과를 낸다고 설명합니다.

직접 켜는 방법과 동작을 멈추는 방법

기능은 기본적으로 꺼져 있습니다. 사용할 때는 다음과 같이 켜고, 예상과 다른 동작이 나오면 중지할 수 있습니다.

• CLI에서는 /computer on으로 켜고, /computer show로 설정을 살펴봅니다. /computer off로 끌 수 있으며, 진행 중인 동작은 Esc를 두 번 눌러 멈춥니다.
• 앱에서는 Settings > Computer Use > Enable Computer Use에서 켜거나 /computer on을 입력합니다. 동작을 멈추려면 Stop 버튼이나 Esc를 사용합니다.

macOS에서는 앱 조작에 Accessibility 권한, 화면 확인에 Screen Recording 권한이 필요합니다. 조직 정책으로 기능이 비활성화돼 있다면 로컬에서 켜도 사용할 수 없습니다.

저장한 승인을 지워도 현재 접근은 끊기지 않습니다

앱을 제어하기 전에 승인을 물을지는 CLI와 앱 각각의 도구 권한 설정에 따라 달라집니다. 승인 요청이 표시되면 현재 세션만 허용하거나, 이후 세션에도 쓸 승인을 저장하거나, 거부할 수 있습니다. 거부 규칙은 허용 설정보다 우선합니다.

앱별 ‘항상 허용’ 승인은 로컬에 저장되며, 같은 컴퓨터의 CLI와 앱에 함께 적용됩니다. 앱에서 저장된 승인을 검토하거나 삭제할 수 있습니다. 삭제한 승인은 이후 세션에는 적용되지 않지만, 실행 중인 세션에 이미 부여한 접근 권한까지 취소되지는 않습니다.

민감한 화면과 변경 결과는 직접 확인하세요

공개 프리뷰인 만큼 기능은 바뀔 수 있습니다. 화면 구성이나 창 상태, 동작 타이밍이 달라지면 잘못된 버튼을 누르거나 엉뚱한 곳에 입력하고, 같은 행동을 반복할 수 있습니다.

모호한 요청이나 화면에 표시된 내용 때문에 기기·데이터·연결된 계정에 의도하지 않은 변경이 생길 수도 있습니다. 화면에 보이는 민감한 정보도 Copilot이 작업에 사용하는 맥락에 포함될 수 있습니다.

작업을 맡길 때는 원하는 결과와 사용할 앱, 지켜야 할 조건을 구체적으로 적어두세요. 민감하거나 영향이 큰 앱에는 ‘항상 허용’을 피하고, 접근 권한과 변경 결과를 직접 확인하는 편이 좋습니다.