네이버 하이퍼클로바X가 '보고 듣는' AI로, 옴니모달이 일상에서 바꾸는 것

 

예전에 클로바X(CLOVA X) 앱에 음식 사진을 띄워놓고 "이거 칼로리 얼마야?"라고 말로 물어봤는데요. 이게 곧 더 자연스러워질 것 같더라고요. 네이버가 옴니모달 모델을 공개했거든요.

 

사진을 찍어서 보여주고, 동시에 목소리로 질문하고, 답도 음성으로 받는 흐름이요. 지금까지는 어딘가 한 박자씩 어긋났는데, 이번 구조가 그 어긋남을 줄이는 쪽으로 설계됐다는 게 핵심입니다.

 

하이퍼클로바X 옴니모달이 멀티모달과 뭐가 다른지부터

기존 멀티모달은 쉽게 말하면 부품을 이어 붙인 구조예요. 텍스트 모델이 따로 있고, 음성 인식(STT)·음성 합성(TTS) 모듈을 옆에 붙여서 "말을 글자로 바꾼 다음 → 모델에 넣고 → 답을 다시 음성으로" 돌리는 방식이지요.

 

이렇게 단계를 거치니까 모듈을 갈아탈 때마다 살짝씩 지연이 생깁니다. 음성 비서한테 말 걸면 한 박자 늦게 대답하는 그 느낌이요.

 

네이버가 공개한 'HyperCLOVA X SEED 8B Omni'는 국내 첫 네이티브 옴니모달 구조라고 해요. 텍스트·이미지·오디오를 처음부터 하나의 의미 공간에서 통째로 학습했다는 점이 달라요. 부품을 이어 붙인 게 아니라 처음부터 한 몸으로 만든 셈입니다.

 

그래서 입력과 출력 조합이 자유롭습니다. 사진을 넣고 음성으로 답을 받거나, 말로 묻고 글로 받는 식의 조합이 한 모델 안에서 처리된다는 얘기예요.

 

 

새 통합 에이전트에서 일반 사용자가 체감할 변화

추론에 특화된 'HyperCLOVA X SEED 32B Think' 모델도 함께 공개됐고요. 클로바X는 2026년 4월 9일에 종료됐지만, 여기 축적된 기술은 네이버 앱 'AI탭'의 통합 에이전트 서비스로 이어진다고 합니다. 저는 그 에이전트에서 이 옴니모달 경험을 기대하고 있어요.

 

제가 기대하는 건 복합 요청이 한 번에 처리되는 장면이에요. 예를 들어 마트에서 제품 뒷면 성분표를 찍어 보여주면서 "이거 우리 애 먹여도 돼?"라고 말로 물어보는 거요. 사진 따로 올리고, 질문 따로 타이핑하던 두 동작이 한 호흡으로 합쳐지는 셈이지요.

 

여기에 네이버 검색·쇼핑 같은 생태계가 붙으면 활용 폭이 더 넓어질 것 같습니다. 다만 솔직하게 말씀드리면, 지금은 '모델'이 공개된 단계예요. 일반 사용자는 통합 에이전트를 통해 조금씩 만나게 될 거라, 완성된 모습까지는 시간이 좀 더 걸릴 것으로 보입니다.

 

8B 경량 모델과 오픈소스로 보는 토종 AI 전략

이 모델을 보면서 흥미로웠던 게 '8B'라는 숫자였어요. 8B를 쉽게 설명하자면, 80억 개의 매개변수를 가진 모델인데요. 요즘 거대 모델들이 수천억 단위를 넘나드는 걸 생각하면, 일부러 작게 만든 쪽에 가깝습니다.

 

왜 작게 만들었냐면, 방향이 "더 똑똑한 AI"가 아니라 "더 싸고 빠른 AI"이기 때문이에요. 작으니까 스마트폰 같은 기기 안에서 직접 돌리는 온디바이스 구동이나, 저비용 서버 운영을 노릴 수 있습니다.

 

전략 차이도 분명해요. GPT나 제미나이(Gemini)의 옴니 기능은 보통 API 형태로 빌려 쓰는 방식인데, 네이버는 모델 가중치까지 오픈소스로 풀었습니다. 국내 스타트업이나 연구 기관이 가져다 자유롭게 손볼 수 있다는 점에서 결이 다른 선택이에요.

 

개인적으로는 한국어 데이터와 네이버 서비스 연동이라는 무기를 가진 토종 AI가, 거대 모델과 정면으로 힘 싸움을 하기보다 '효율'과 '개방성'으로 자리를 잡으려는 움직임으로 읽혔습니다.

 

 

알아둬야 할 한계와 '독자 기술' 논란

마냥 장밋빛으로만 볼 건 아니라, 짚어둘 부분도 있어요.

 

먼저 시각 처리를 담당하는 비전 인코더에 중국 알리바바의 Qwen2.5-VL 가중치를 그대로 가져다 썼다고 합니다. 이 때문에 '독자 기술 확보'를 내건 정부 과제 취지에 어긋난다는 이유로 1차 평가에서 탈락했다는 보도가 있었어요. 기술적 완성도와는 별개로, 이런 논란이 따라붙었다는 점은 알아두시는 게 좋겠습니다.

 

또 8B 경량 모델은 가볍고 빠른 대신, GPT-4o 같은 거대 옴니모달 모델과 복잡한 추론이나 정교한 생성에서 정면 비교하면 차이가 날 수 있어요. 이건 작게 만든 선택에 따라오는 맞바꿈입니다.

 

그래서 저는 이 모델을 "GPT를 이긴 한국 AI"로 기대하기보다, "가볍고 빠른 일상 도구"로 눈높이를 맞춰두려 합니다. 사진 한 장 보여주며 말로 묻는 그 작은 편의가 실제로 매끄러워지는지, 새 통합 에이전트에 이 옴니모달이 들어오면 거기부터 직접 눌러볼 생각이에요.