Foundry Local, Qwen 코딩 모델을 PC에서 실행한다

Microsoft가 11월 5일 Foundry Local에서 코딩 모델 Qwen3.8-27B를 실행하고 GitHub Copilot에 연결하는 방법을 소개했습니다. 코드를 다루는 모델의 추론을 개발자 기기에서 처리하는 방식입니다.

어떤 PC에서 쓸 수 있나요?

공식 안내의 실습은 메모리가 24GB 이상인 NVIDIA GPU와 Foundry Local CLI 0.13.0 이상을 기준으로 합니다. CUDA와 호환 cuDNN 런타임은 별도 설치해야 합니다. 0.13.0은 공개 프리뷰이므로 기능이 바뀌거나 미완성된 부분이 있을 수 있습니다.

Microsoft에 따르면 모델을 4비트로 양자화하면 크기는 약 18GB입니다. 24GB GPU에서는 최대 64K 토큰의 문맥을 지원하며, GPU 메모리가 32GB 이상이면 모델의 최대 문맥인 262K 토큰까지 지원한다고 설명합니다. 실제 처리 속도는 기기와 작업에 따라 달라집니다.

Copilot에 로컬 모델을 연결하려면

Foundry Local에서 모델을 불러온 뒤 GitHub Copilot 앱의 모델 제공자 설정에 로컬 API 주소를 입력하고 Qwen3.8-27B를 선택합니다. API 주소는 자신의 기기에서 확인해야 하며, 예시 화면의 주소를 그대로 복사하는 방식이 아닙니다.

모델 추론을 로컬에서 실행하는 장점은 코드와 문맥을 그 처리 단계에서 클라우드로 보내지 않아도 된다는 점입니다. 다만 연결된 다른 도구의 네트워크 동작까지 모두 차단된다는 보장은 아닙니다. Microsoft는 복잡한 추론 작업에서는 더 큰 클라우드 모델이 여전히 유용할 수 있다고 설명했습니다.

Mac 지원은 구분해서 봐야 합니다

Foundry Local 자체는 여러 플랫폼을 지원하지만, 이번 Qwen3.8-27B 최적화는 NVIDIA 환경을 중심으로 소개됐습니다. Microsoft는 이 모델 지원을 Mac과 AMD GPU로 넓히는 것을 향후 계획으로 제시했습니다. Mac에서 이번 구성의 지원이 이미 확인된 것은 아닙니다.