AI가 내 컴퓨터를 대신 만져준다고? — 데스크톱 AI 에이전트 일반인 체험기

 

AI가 내 컴퓨터를 대신 만져준다는 말, SF처럼 들리시죠. 근데 막상 써보니 'SF 속 비서'가 아니라 '느리고 꼼꼼한 인턴'에 가깝더라고요.

 

데스크톱 AI 에이전트, 챗봇 다음 단계로 넘어온 흐름

작년까지만 해도 AI는 채팅창 안에서 답을 주는 도구였습니다. 근데 올해 들어 분위기가 확 바뀌었어요. 답만 주는 게 아니라 사용자의 화면을 직접 보고 마우스를 움직이는 '실행형 AI'가 본격적으로 풀렸습니다.

 

기술 수준도 1년 전과는 다른 자리예요. 데스크톱 작업 능력을 측정하는 OSWorld-Verified에서 GPT-5.5가 78.7%, Claude Opus 4.7이 78.0%, 최신 Claude Opus 4.8은 83.4%를 기록한 것으로 보고됩니다. 인간 기준선이 72.36% 정도라고 하니, 이제는 평균적인 사람의 작업 정확도를 넘어선 구간에 들어왔다는 얘기가 됩니다.

 

작동 방식이 살짝 의외인데요. AI가 컴퓨터 내부를 직접 조작하는 게 아니라, 화면을 통째로 스크린샷 찍어서 보고 마우스 좌표를 찍어 클릭하는 방식입니다. 이게 어느 정도냐면, 매번 모니터 사진을 한 장씩 찍어가며 일하는 신입사원이 옆자리에 앉아있다고 생각하시면 비슷해요.

 

 

클로드 코워크·챗GPT 에이전트·마누스, 뭐가 다를까

선택지가 갈리는데, 큰 줄기로 보면 이렇게 정리됩니다.

 

1. 클로드 코워크(Claude Cowork)

 

앤스로픽(Anthropic)이 클로드 데스크톱 앱에 끼워 넣은 모드입니다. 로컬 PC 권한을 받아 내 컴퓨터에서 직접 돌아가요. 자리를 비워도 작업을 이어가는 'Dispatch' 기능이 있어 모바일로 원격 지시를 보내는 것도 가능합니다.

 

2. 챗GPT 에이전트(ChatGPT Agent)

 

OpenAI가 챗GPT 앱 안에 넣은 모드입니다. 주로 클라우드 가상머신에서 돌아가는 흐름이라 내 PC 부담은 적은 대신, 화면 정보가 OpenAI 서버로 올라가는 구조예요.

 

3. 마누스(Manus)·젠스파크(Genspark)·퍼플렉시티 코멧(Perplexity Comet)

 

마누스는 클라우드에서 멀티태스킹으로 자료조사·PPT 초안을 굴리는데 결과물 완성도가 가장 높은 편입니다. 젠스파크는 슬라이드·여행 일정 같은 템플릿 작업에 강해 비전문가가 접근하기 쉬워요. 퍼플렉시티 코멧은 브라우저 안에서 로컬 세션과 쿠키를 그대로 써서 프라이버시 부담이 가장 적은 쪽입니다.

 

 

AI 에이전트 사흘 체험, 자료조사·표 정리는 어땠나

최근 사흘 동안 두세 개를 집중적으로 굴려봤어요.

 

가격 비교표 만들기를 던졌더니, 젠스파크는 4분 만에 깔끔한 표를 내놓았습니다. 마누스는 11분 걸린 대신 환율·부가세·배송료까지 3배 가까운 정보를 채워 왔어요. 단순 비교면 젠스파크, 의사결정 자료면 마누스, 이런 식으로 갈리더라고요.

 

파일 정리는 결과가 좀 갈렸습니다. 클로드 코워크는 다운로드 폴더의 PDF를 주제별로 옮기는 데 성공했는데, 챗GPT 에이전트는 한글 파일명에서 한 번씩 막혔어요. "이 파일이 맞나요?"라고 사용자한테 되묻는 일이 잦았습니다.

 

체감 속도는 솔직히 답답한 구간이 있었습니다. 같은 작업을 사람이 하면 1분 걸릴 걸 AI는 3~4분 걸리는 경우가 많거든요. OSWorld 분석에서도 인간보다 두세 배 더 많은 단계를 쓴다는 결과가 나오는데, 직접 옆에서 보면 그 차이가 더 크게 느껴집니다.

 

개인적으로는 자료조사·반복 표 정리처럼 시간이 걸려도 정확도가 중요한 작업이 가장 잘 맞았어요. 실시간 결제처럼 '한 번에 끝내야 하는' 작업은 아직 손이 안 갔습니다.

 

비용·프롬프트 인젝션, 일반 사용자가 짚어야 할 것

마냥 좋다는 얘기로 끝내기엔 신경 쓰이는 지점이 분명합니다.

 

SOTA 기준 벤치마크 83% 대도 뒤집어 보면 5~6번 중 1번은 실패한다는 뜻이에요. 자료조사에서 한 번 틀리는 거야 다시 시키면 그만이지만, 자동 결제나 플랜 업그레이드에서 한 번이 치명적이지요. 실제로 저도 사흘 중에 구독 갱신을 잘못 누르는 사고가 한 번 났습니다.

 

보안 쪽도 가볍지 않아요. 사람 눈에 안 보이는 흰 글씨·0pt 텍스트로 악성 명령을 웹페이지에 숨겨두면 AI가 그걸 그대로 따라 실행하는 '프롬프트 인젝션(Prompt Injection)' 공격이 Wiz Research 측정으로 작년 4분기 기준 전년 대비 340% 늘었다고 합니다. Simon Willison 같은 보안 연구자는 이걸 '패치 불가능한 구조적 결함'으로 본다는 평가도 있어요. 'hackerbot-claw' 봇이 깃허브(GitHub) Actions 취약점을 이용해 LiteLLM이라는 PyPI 패키지에 백도어를 심어 4만 7천 회 다운로드까지 갔다는 보고도 나왔습니다.

 

비용 부담도 짚어둘 자리입니다. 제대로 굴리려면 월 20달러부터 시작해서 헤비 유저는 200달러까지 올라가요. 정해진 반복 업무라면 기존 RPA 도구가 더 빠르고 안전한 경우도 많다는 얘기입니다.

 

 

데스크톱 AI 에이전트, 일반인은 어디까지 쓰면 좋을까

사흘 굴려보고 든 생각을 정리하면 이렇습니다. 데스크톱 AI 에이전트의 강점은 '신뢰성'이 아니라 '범용성'에 있어요. 한 가지 일을 매번 정확히 해주는 도구가 아니라, 매번 다른 일을 그럭저럭 해주는 도구입니다.

 

그래서 결제·계약처럼 돌이킬 수 없는 작업은 당분간 사람 손(HITL)에 두고, 자료조사·표 정리·초안 만들기처럼 검토 한 번 거치면 되는 작업부터 맡기는 게 합리적이라고 봅니다.

 

결국 모든 판단의 기준선은 83%, 그 한 줄이에요. 다섯~여섯 번에 한 번은 사람이 다시 봐야 한다는 그 단순한 사실, 거기서부터 활용 범위를 잡는 게 지금 단계의 정답이라고 봅니다.