200쪽 PDF, 클로드는 정말 끝까지 읽었을까

 

얼마 전에 40만 토큰짜리 회의록 200쪽을 클로드(Claude)한테 던지고 요약을 받았는데요. 앞뒤는 멀쩡한데 딱 100쪽 부근 안건이 통째로 사라져 있더라고요.

 

처음엔 제가 파일을 잘못 올렸나 싶었어요. 근데 원문을 다시 뒤져보니 그 안건은 분명히 있었습니다. AI가 "안 읽은" 부분을 그냥 건너뛴 거였어요. 그래서 이게 우연인지, 구조적인 문제인지 직접 파봤습니다.

 

클로드 긴 문서 요약, 토큰 한도부터 따져야 합니다

일단 200쪽짜리 텍스트 PDF가 어느 정도냐면, 보통 1쪽이 1,500~ 3,000토큰쯤 됩니다. 200쪽이면 30만~60만 토큰이 나오는 셈이에요.

 

문제는 클로드의 기본 모델이 한 번에 받아주는 양이 200K(20만) 토큰 수준이라는 점입니다. 200K를 쉽게 설명하자면, A4로 80~100장 정도예요. 30만 토큰짜리 회의록은 이 한도를 그냥 넘어버립니다.

 

이제는 정식으로 1M(100만) 토큰까지 받아주는 모델도 있어요. 1M이면 영어 기준 75만 단어니까 두꺼운 책 여러 권 분량이지요. 근데 여기서 함정이 하나 있습니다. 클로드는 PDF를 텍스트로 뽑는 동시에 각 페이지를 이미지로도 변환해서 표·차트까지 읽는데, 이 시각 분석이 기본 모델 기준으로 약 100쪽까지만 제대로 돈다고 합니다(1M 모델은 600쪽까지예요). 그걸 넘으면 사용자한테 별 알림 없이 텍스트 전용 모드로 슬그머니 바뀔 수 있어요.

 

제 회의록에서 사라진 안건이 하필 100쪽 부근이었던 게, 이 전환 지점과 겹쳤을 가능성이 커 보입니다.

 

 

중간 누락 현상, 왜 하필 한가운데가 사라질까

이건 LLM 특유의 버릇입니다. 긴 글을 줄 때 시작과 끝은 잘 챙기는데 한가운데는 소홀해지는 경향이 있어요. 학계에서 "Lost in the Middle"이라고 부르는 현상인데, 주의력 곡선이 U자를 그린다고 합니다.

 

사람도 비슷하잖아요. 회의록 첫 장과 마지막 결론은 기억나는데 중반부 자잘한 안건은 흐릿한 것처럼요.

 

다만 이걸 "클로드는 중간을 못 읽는다"로 단정하면 좀 억울합니다. 옛날 모델 얘기거든요. Claude 2.1 시절엔 중간 정보 회수율이 27%에 그쳤다고 하는데, Claude 3 Opus에 와서는 99% 이상까지 올라갔다고 해요. 세대 차이가 워낙 큽니다.

 

 

함정 질문으로 AI 요약 검증하는 법

그래서 통째로 요약을 받았으면, 그걸 그대로 믿지 말고 한 번 떠보는 게 좋습니다. 제가 쓰는 방식은 "건초더미 속 바늘 찾기"예요. 중간에 묻힌 특정 정보를 콕 집어 물어보는 겁니다.

 

1. 중간부의 구체적 사실을 질문합니다. "127쪽 OOO 안건에 누가 반대했어?"처럼요.
2. 답이 나오면 "원문 몇 쪽에 그 내용이 있어?"로 근거를 되묻습니다.
3. 질문 앞에 "가장 관련 있는 문장을 먼저 찾고 답해줘"를 붙입니다.

 

신기하게도 이 세 번째 한 줄이 효과가 큽니다. Claude 2.1도 이 프롬프트 한 줄로 회수율이 27%에서 98%까지 뛰었다는 보고가 있어요. 질문을 어떻게 설계하느냐가 절반이라고 봅니다.

 

다만 한 가지 주의할 게 있어요. 특정 정보 하나를 99% 찾아내는 능력이 곧 문서 전체를 잘 종합·요약하는 능력은 아니라는 점입니다. 바늘을 잘 찾는다고 건초더미 전체를 다 이해한 건 아니니까요.

 

 

챗GPT·제미나이와 비교한 진짜 위험, 환각

여기까지는 "누락"이었는데요. 사실 누락보다 더 무서운 건 따로 있습니다. 안 읽은 중간 부분을 그럴듯하게 지어내는 거예요. 흔히 환각이라고 부르는 그거죠.

 

차라리 통째로 빈칸으로 남으면 제가 알아챕니다. 근데 챗GPT(ChatGPT)든 제미나이(Gemini)든 클로드든, 매끄러운 문장으로 없는 안건을 만들어내면 검증 없이는 잡아내기가 정말 어렵더라고요. 어느 모델이 더 자연스럽게 거짓말하는지를 따지는 게 의미 없을 만큼, 셋 다 "그럴듯함"은 충분합니다.

 

그러니 모델을 고르는 것보다 검증 루틴을 까는 게 먼저라고 봅니다.

 

200쪽 PDF, 실전에선 이렇게 나눠 넣습니다

개인적으로는 200쪽을 한 방에 던지는 걸 별로 안 좋아하게 됐어요. 비용도 비용이지만 중간이 새는 게 불안해서요. 그래서 요즘 제가 쓰는 방식은 이렇습니다.

 

1. 표·차트가 몰린 핵심 구간은 100쪽 이하로 잘라서 따로 넣습니다. 시각 분석이 살아있는 구간 안에서 처리하려는 거예요.
2. 통째 요약을 받은 뒤엔 중간부 함정 질문 두세 개로 반드시 떠봅니다. "원문 인용"을 같이 요구하면 환각이 확 줄어듭니다.
3. 비용·속도가 부담되면 섹션별로 먼저 요약하고 마지막에 합칩니다. 회의록 정리할 때 이 방식이 제일 안정적이었어요.

 

이렇게 나눠 넣으면 손은 좀 더 가지만, 적어도 100쪽짜리 안건이 증발하는 사고는 안 납니다.

 

다음에 또 두꺼운 PDF를 통째로 던지고 요약 막대를 쳐다보게 되면, 저는 요약을 받자마자 한가운데를 콕 집어 떠보는 질문부터 던질 생각이에요. AI가 끝까지 읽었는지 아닌지는, 결국 그 한두 개 함정 질문에서 갈리더라고요.