마이크로소프트가 코파일럿을 통해 윈도우 11 PC에 강력한 AI 경험을 제공하는 대규모 업데이트를 발표했다. 모든 윈도우 11 PC를 AI PC로 전환하기 위한 노력이다.

이번 업데이트는 강력한 AI 기능을 윈도우 사용 환경에 통합해, 윈도우 11 사용자가 보다 쉽고 직관적으로 AI를 활용할 수 있도록 설계됐다. 마이크로소프트는 AI PC에 필요한 요소를 △자연어 문자 및 음성을 기반으로 상호작용하고 사용자를 이해 △사용자가 보는 시각적 정보를 같이 인식하고 도움을 추천 △사용자 승인 하에 능동적으로 작업 수행 등 세 가지로 제시하고 있다.

윈도우 11은 코파일럿과의 음성 기반 상호작용을 지원한다. 마이크로소프트는 실제로 음성 사용 시 코파일럿과의 상호작용 빈도가 문자보다 두 배 이상 높다는 점에 기인해, 간편한 음성 기반 접근으로 사용자들이 코파일럿과 더욱 깊은 상호작용을 할 수 있도록 지원한다.

윈도우 11 PC의 코파일럿 앱 설정에서 이 기능을 활성화시키면 호출어인 “헤이 코파일럿(Hey, Copilot)”으로 코파일럿 보이스(Copilot Voice)를 실행할 수 있다. 사용자가 해당 호출어를 말하면 화면에 마이크 아이콘이 표시되고 인식 신호음이 울리며 대화가 시작된다. 대화 종료는 “굿바이(Goodbye)”라는 음성 명령 또는 종료 버튼으로 실행되며, 몇 초간 상호작용이 없는 경우에도 신호음과 함께 자동으로 코파일럿이 대화를 종료한다.

코파일럿 비전(Copilot Vision)도 코파일럿이 제공되는 전 세계 윈도우 11에서 정식 지원된다. 이 기능은 사용자가 데스크톱 화면이나 앱을 공유하면, 코파일럿이 화면 콘텐츠를 인식해 관련 인사이트를 제공하고, 질문에 응답하거나 음성으로 가이드를 제공하는 방식으로 작동한다. 게임 탐색, 이력서 작성, 창작 프로젝트 개선 등 다양한 작업에 활용할 수 있다.

또한, 사용자는 “쇼 미 하우(Show me how)”라는 음성 명령어를 통해 특정 작업의 수행 절차를 보여주도록 요청할 수 있다. 코파일럿은 앱 내 클릭 위치와 절차를 시각적으로 안내하며, 게임 플레이, 사진 보정, 여행지와 일정에 따른 준비물 검토 등 다양한 작업 환경에서 조언을 제공한다.

코파일럿 비전과의 문자 기반 대화도 가능해진다. 기존에는 음성 기반의 상호작용만 가능했으나, 마이크로소프트는 윈도우 인사이더 프로그램(Windows Insider Program)을 통해 코파일럿 비전과 텍스트 입력 방식으로도 상호작용할 수 있는 기능을 공개할 예정이다.

윈도우 11의 작업 표시줄에는 새로운 ‘애스크 코파일럿(Ask Copilot)’ 기능이 추가된다. 애스크 코파일럿 활성화를 통해 사용자는 코파일럿 비전과 코파일럿 보이스를 한 번의 클릭으로 손쉽게 이용하고, 코파일럿을 PC 사용 경험에 자연스럽게 통합해 지원, 안내, 협업 등 필요한 기능을 언제든지 활용할 수 있다.

새로운 작업 표시줄은 사용자가 더 적은 노력으로 더 많은 것을 성취하도록 돕고, 한층 생산적이고 재미있는 작업 경험을 제공하는 허브로서 기능한다. 사용자는 앱, 파일, 설정 등에 더욱 빠르게 접근함으로써 검색어를 입력하는 즉시 결과를 확인할 수 있다.

지난 5월 웹 기반 작업 수행 기능으로 공개된 코파일럿 액션(Copilot Actions on the web)은 브라우저를 넘어 윈도우 내 로컬 파일에서도 직접 작업을 수행할 수 있도록 기능이 확장된다. 해당 기능은 윈도우 인사이더의 코파일럿 랩스(Copilot Labs)에서 프리뷰 형태로 제공될 예정이다.

범용 에이전트로서 코파일럿은 PC에 있는 맥락을 기반으로 데스크톱과 웹 애플리케이션과 상호작용하며 사진 정리, PDF 정보 추출 등 작업을 대신 수행한다. 사용자는 자연어로 작업을 지시한 후 다른 업무에 집중하며 작업 진행 상황을 실시간으로 확인하고 어떤 작업이 수행되었는지 검토할 수 있다.

코파일럿은 외부 서비스와의 연동도 지원한다. 사용자가 연결을 승인하면, 원드라이브(OneDrive), 아웃룩(Outlook), 지메일(Gmail) 등 이메일, 연락처, 일정 기반의 주요 플랫폼 서비스를 코파일럿 온 윈도우(Copilot on Windows)에 직접 연동해 활용할 수 있다.

사용자는 “치과 예약 세부 정보 찾아줘”, “이메일 주소 알려줘” 등의 명령어를 통해 캘린더나 이메일에서 필요한 정보를 빠르게 검색할 수 있으며, 원드라이브에 저장된 문서도 함께 확인할 수 있다. 검색 결과는 워드(Word), 엑셀(Excel), 파워포인트(PowerPoint) 등 다양한 형식으로 내보내는 것도 가능하다.

윈도우 설정과도 연동된다. 사용자가 윈도우 PC 설정에 대해 “화면을 더 읽기 쉽게 만들어줘”, “집중을 위해 방해 요소 줄여줘” 등 자연어 명령으로 요청하면, 코파일럿이 관련 설정 페이지로 자동 안내한다.

더 간편하게 작업을 완료할 수 있는 AI 액션 기능도 추가됐다. 매너스(Manus)는 다양한 작업을 수행할 수 있는 범용 AI 에이전트로, 파일 탐색기(File Explorer) 내에서 한 번의 클릭으로 로컬 폴더의 문서를 활용한 웹사이트를 자동 생성할 수 있다.

문서를 선택한 뒤 마우스 오른쪽 버튼을 눌러 ‘매너스로 웹사이트 만들기’를 실행하면, 별도의 업로드나 코딩 없이 몇 분 만에 웹사이트가 제작된다. 해당 기능은 현재 비공개 프리뷰 단계에 있으며, 향후 파일 탐색기에서 필모라(Filmora)를 실행해 쉽고 간편하게 영상을 편집할 수 있는 새로운 AI 액션도 공개될 예정이다.

마이크로소프트는 코파일럿+ PC를 대상으로, 클릭 투 두(Click to Do)와 줌 연동 기능을 윈도우 인사이더 프로그램을 통해 도입할 예정이다. 이 기능을 통해 사용자는 화면에 표시된 이메일 주소 위에 마우스를 올리기만 해도, 별도의 앱 전환 없이 줌 미팅을 즉시 예약할 수 있다.

베타 버전의 게이밍 코파일럿(Gaming Copilot)은 엑스박스와 아수스가 협업해 개발한 휴대용 게임 기기 로그 엑스박스 엘라이(ROG Xbox Ally) 시리즈에 탑재된다. 게임 중 라이브러리 버튼을 길게 누르면 나만의 게임 도우미인 게이밍 코파일럿과 대화를 시작할 수 있고, 게임을 종료하지 않고도 추천과 도움을 제공받을 수 있다.

윈도우 11은 마이크로소프트의 시큐어 퓨처 이니셔티브(Secure Future Initiative)에 따라 역대 운영체제들 중 가장 안전하다. 특히 윈도우에 에이전트 기능이 도입되면서, 개인정보와 시스템 보호를 위한 방어 체계가 한층 강화됐다.

코파일럿 액션은 사용자가 모든 실행 권한을 직접 제어할 수 있도록 설계됐다. 해당 기능은 기본적으로 비활성화된 상태로 제공되며, 사용자가 직접 활성화 여부를 선택할 수 있다.

모든 실행 과정은 사용자에게 투명하게 공유되며, 민감한 작업 단계에서는 특정 작업을 위해 사용자에게 별도의 승인을 요청할 수 있다. 마이크로소프트는 프리뷰 테스트를 통해 사용자 피드백을 반영하고, 기능의 안전성과 개인정보 보호 수준을 지속적으로 개선해 나갈 계획이다.

유수프 메흐디 마이크로소프트 최고 소비자 마케팅 책임자는 “이번 업데이트를 통해 마이크로소프트는 모든 윈도우 11 PC를 코파일럿 중심의 AI PC로 전환하는 데 한 걸음 더 나아갔다”며, “매일 사용하는 윈도우 환경에 AI를 통합함으로써 사용자들이 가장 강력한 AI 기술을 보다 쉽게 활용할 수 있도록 했다”고 말했다.