PDF 요약 AI, 틀리는 4가지와 확인법

PDF 요약 AI는 공부 시간을 줄여 주지만, 원문과 다른 말을 일정한 비율로 섞어요. 2026년 10월 공개 순위표에서 111개 모델의 환각률은 1.8~24.2%, 가운데 값이 9.6%였어요. 그래서 요약을 버릴 필요는 없고, 숫자·조건·결론이 들어간 문장만 골라 근거 쪽을 열어 확인하면 돼요. 40쪽 강의 자료라면 15분 안팎이에요.

AI 요약은 얼마나 자주 틀릴까

“AI는 가끔 틀린다”는 말은 맞지만 쓸모가 없어요. 얼마나 자주인지 알아야 얼마나 확인할지 정할 수 있어요. 숫자를 볼 때는 언제, 어떤 모델로, 무엇을 요약했는지를 같이 봐야 해요. 모델이 몇 달마다 바뀌기 때문에 작년 숫자는 금방 낡아요.

순위표 숫자를 읽을 때 조심할 점이 두 가지 있어요. 첫째, 여기서 환각률은 요약 한 편에 원문에 없는 내용이 하나라도 섞인 비율이에요. 가운데 값 9.6%라면 요약 열 편 중 한 편꼴로 무언가 섞인다는 뜻이에요. 둘째, 채점을 사람이 아니라 다른 AI가 했어요. FABLES 연구진은 AI 채점기가 사람의 판단, 특히 틀린 주장을 잡아내는 판단과 잘 맞지 않았다고 보고했어요.

사람이 직접 채점한 FABLES 쪽이 더 엄격해요. 가장 나은 Claude-3-Opus도 주장의 90%, GPT-4와 GPT-4-Turbo는 78%, GPT-3.5-Turbo는 72%, Mixtral은 70%만 원문과 맞았어요. 130개 요약 중 모든 주장이 맞은 건 4~5개뿐이었어요. 책 한 권처럼 긴 자료일수록, 요약 한 편 안에 틀린 문장이 하나쯤은 있다고 보고 읽는 게 현실에 가까워요.

요약이 틀리는 네 가지 모양

틀린 요약을 찾으려면 무엇을 찾는지 알아야 해요. 연구에서 반복해서 나오는 오류를 대학 강의 자료 기준으로 묶으면 네 가지예요.

보태기와 바꾸기

Maynez 등(2020)은 환각을 두 종류로 나눴어요. 원문에 있는 정보를 잘못 바꾸는 내재적 환각과, 원문에 없는 정보를 보태는 외재적 환각이에요. 보탠 정보는 그럴듯한 배경지식처럼 보이지만, 이 연구에서는 외재적 환각의 90% 넘게가 틀린 내용이었어요. 강의 요약에서 교수님이 말하지 않은 예시나 수치가 보이면, 맞는 말이어도 시험 범위가 아닐 수 있어요.

빠뜨리기

요약은 원래 줄이는 일이라 빠지는 게 당연해요. 문제는 무엇이 빠지느냐예요. FABLES에서는 중요한 인물·사건·관계가 빠지는 오류가 반복됐고, 책 끝부분 내용을 지나치게 많이 다루는 쏠림도 보였어요. 2023년 모델로 한 Liu 등의 실험에서는 필요한 정보가 긴 입력의 처음이나 끝에 있을 때 가장 잘 찾았고, 가운데에 있을 때 성능이 크게 떨어졌어요. 요약이 아니라 찾기 과제였지만, 40쪽 자료의 18~25쪽 같은 가운데 부분을 따로 확인할 이유는 돼요.

범위 넓히기

가장 알아채기 어려운 오류예요. 문장 하나하나는 원문과 비슷한데 조건이 빠져요. Peters와 Chin-Yee(2025)는 ChatGPT-4o, DeepSeek, Claude 3.7 Sonnet 등 10개 모델로 과학·의학 논문 초록과 본문 요약 4,900개를 만들어 원문과 비교했어요. DeepSeek, ChatGPT-4o, LLaMA 3.3 70B는 26~73%의 경우에서 원문보다 넓게 일반화했어요. 같은 논문을 전문가가 쓴 요약과 비교하면 AI 요약이 넓은 일반화를 담을 가능성이 약 5배(오즈비 4.85)였어요.

논문에 실린 예가 이래요. 원문 결론은 “2형 당뇨 청소년에게 주 1회 0.75 또는 1.5mg 투여가 26주 동안 위약보다 혈당 조절에 나았다”였는데, 요약은 “청소년 2형 당뇨에 효과적이고 안전한 치료법이다”가 됐어요. 용량, 기간, 비교 대상이 사라지고 원문 결론에 없던 ‘안전하다’가 붙었어요. 논문 요약 AI로 리포트 자료를 정리할 때 이런 문장을 그대로 옮기면 원 논문이 하지 않은 주장을 하게 돼요. 다만 이 연구에서 Claude 모델들은 원문과 큰 차이가 없었어요. 모델마다 다르다는 뜻이고, 내가 쓰는 도구가 어느 쪽인지는 확인해 보기 전엔 몰라요.

표와 스캔 잘못 읽기

요약 AI는 PDF에서 글자를 먼저 꺼낸 뒤에 요약해요. 스캔본은 문자 인식(OCR)을 거쳐요. 이 단계에서 틀리면 요약은 틀린 글자를 충실히 요약해요. 2025년 OHRBench 연구는 8,561개 문서 이미지로 OCR 결과를 문서 기반 질의응답에 넣어 봤는데, 가장 나은 OCR도 사람이 정리한 정답 데이터보다 성능이 14% 이상 낮았어요. 특히 표·수식·차트에 대한 질문에서 더 크게 떨어졌어요. 숫자가 많은 표, 2단 편집, 손글씨 판서 사진은 요약 전에 이미 한 번 틀릴 수 있다고 보고 읽어요.

“정확하게 요약해”라고 쓰면 나아질까

잘 안 돼요. 오히려 반대일 수도 있어요. 위의 Peters와 Chin-Yee 연구에서 “요약할 때 부정확한 내용을 넣지 마라”라는 문구를 넣은 프롬프트는, 그냥 요약해 달라고 한 프롬프트보다 범위를 넓힌 결론이 나올 가능성이 약 2배(오즈비 1.90)였어요. 단계별로 정리하라고 한 프롬프트는 차이가 없었어요. 연구진은 이 역효과를 경고하면서도 원인은 더 확인해야 한다고 적었어요.

같은 연구에서 모델의 무작위성을 정하는 온도 값을 0으로 두면 범위를 넓힌 요약이 76% 적게 나왔어요. 하지만 대부분의 채팅 앱에서는 학생이 온도를 바꿀 수 없어요. 그래서 현실적인 순서는 이래요.

1. 요약 문장마다 근거 쪽을 달라고 하거나, 쪽 번호를 보여 주는 도구를 써요. 확인할 곳을 찾는 시간이 줄어요.
2. 쪽 번호를 맞다는 증거로 받아들이지 않아요. 2023년 모델로 출처 달린 답을 평가한 ALCE 연구에서는 가장 나은 모델도 한 데이터에서 절반가량 출처가 문장을 완전히 뒷받침하지 못했어요. 쪽 번호는 찾아갈 주소이지 정답 도장이 아니에요.
3. 확인은 사람이 해요. 아래 순서대로요.

쪽 번호로 확인하는 순서

요약 전체를 원문과 대조하면 처음부터 다시 읽는 것과 다를 게 없어요. 틀렸을 때 시험에서 손해가 큰 문장만 골라서 봐요. 아래 1~5단계는 위 연구들의 오류 유형을 확인 절차로 옮긴 제안이에요. 이 순서 자체를 실험한 연구가 있는 건 아니에요.

1. 확인할 문장 고르기 (2분). 요약에서 다음 다섯 가지가 들어간 문장에 표시해요. 숫자·단위, 정의, 조건(“~일 때”, “~에 한해”), 비교(“A가 B보다”), 결론(“따라서”, “항상”). 나머지 문장은 넘어가요.
2. 근거 쪽 열기. 쪽 번호가 있으면 그 쪽으로, 없으면 핵심어를 PDF에서 검색해요. 검색해도 안 나오면 그 자체가 신호예요. 원문에 없는 말일 가능성이 커요.
3. O·△·X로 표시. 원문과 같으면 O, 맞지만 조건이 빠졌으면 △, 다르거나 원문에 없으면 X. 채점하는 방식은 백지 복습법 글의 O·△·X와 같아요. △와 X는 원문 문장으로 고쳐 적어요.
4. 빠진 것 찾기 (3분). 원문의 목차나 소제목을 쭉 적고, 요약에 대응하는 문장이 있는지 줄을 그어요. 줄이 안 그어진 소제목이 빠진 내용이에요. 자료의 가운데 쪽을 특히 봐요.
5. 표·수식·스캔은 원문 그림으로. 요약에 나온 숫자는 원문 표에서 행 이름과 열 이름을 손가락으로 짚어 확인해요. 스캔본이면 0과 8, 1과 7, 소수점 위치를 봐요.

40쪽 강의 PDF로 해 보는 15분 확인

가상의 예로 해 볼게요. 경영통계 5주차 강의 자료가 40쪽이고, AI 요약이 24문장으로 나왔어요. 시험은 3일 뒤예요. 1단계에서 숫자·정의·조건·비교·결론이 들어간 문장을 골랐더니 10개였어요. 문장당 1분, 소제목 대조 3분, 고르기 2분이면 약 15분이에요. 40쪽을 다시 읽는 것보다 훨씬 짧아요.

10개 중 3개만 고쳐도 시험에서 그대로 틀렸을 문장 세 개를 막은 셈이에요. 특히 p값 정의와 임계값은 객관식 함정으로 자주 나오는 자리예요. 고친 문장은 요약 파일에 바로 덮어쓰고, 빠진 20~23쪽은 원문을 직접 읽어요.

확인이 끝난 요약은 복습 자료로 써요. 다만 요약을 다시 읽기만 하면 기억에 오래 남지 않아요. 망각곡선 복습 주기 글에 정리한 Roediger와 Karpicke(2006) 실험에서 5분 뒤에는 다시 읽기가 앞섰지만, 1주 뒤에는 떠올린 그룹 61%, 다시 읽은 그룹 40%였어요. 이 문장도 “떠올리기가 항상 낫다”로 줄이면 범위 넓히기가 돼요. 조건(1주 뒤)까지가 결과예요.

리포트와 시험공부에 쓸 때의 선

도구 없이도 할 수 있어요. 요약을 받은 뒤 PDF 뷰어를 옆 창에 띄우고, 위 5단계대로 검색하고 표시하면 돼요. 표시는 요약 문장 끝에 “(9쪽 X)”처럼 남겨 두면 다음에 볼 때도 어디가 고친 곳인지 알 수 있어요.

Notely AI 요약은 원문 옆에 쪽 번호가 붙은 요약을 보여 줘서 2단계에서 근거 쪽을 찾는 시간을 줄일 수 있어요. 스캔 PDF와 필기 사진은 문자 인식으로 읽기 때문에, 숫자와 표는 위의 5단계처럼 원문 그림과 한 번 더 맞춰 보세요. 어떤 도구든 AI 요약은 틀릴 수 있고, 쪽 번호는 원문과 대조하기 위한 주소예요.

리포트에 쓸 때는 선이 더 분명해요. 인용과 수치는 요약이 아니라 원문 쪽에서 가져와요. 요약은 어느 쪽을 읽을지 정하는 지도로 쓰고, 문장은 원문을 보고 직접 써요. 과제에 AI를 써도 되는지, 썼다면 밝혀야 하는지는 과목마다 다르니 강의계획서나 학교 안내를 먼저 확인하세요.

자주 묻는 질문

출처

1. Vectara. Hallucination Leaderboard (2026년 10월 22일 갱신, 2026년 10월 24일 확인). github.com/vectara/hallucination-leaderboard
2. Kim, Y., Chang, Y., Karpinska, M., Garimella, A., Manjunatha, V., Lo, K., Goyal, T., & Iyyer, M. (2024). FABLES: Evaluating faithfulness and content selection in book-length summarization. Conference on Language Modeling (COLM). arxiv.org/abs/2404.01261
3. Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On faithfulness and factuality in abstractive summarization. Proceedings of ACL 2020, 1906–1919. aclanthology.org/2020.acl-main.173
4. Peters, U., & Chin-Yee, B. (2025). Generalization bias in large language model summarization of scientific research. Royal Society Open Science, 12(4), 241776. doi.org/10.1098/rsos.241776
5. Liu, N. F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F., & Liang, P. (2024). Lost in the middle: How language models use long contexts. Transactions of the Association for Computational Linguistics, 12, 157–173. doi.org/10.1162/tacl_a_00638
6. Zhang, J. 외 (2025). OCR hinders RAG: Evaluating the cascading impact of OCR on retrieval-augmented generation. ICCV 2025. arxiv.org/abs/2412.02592
7. Gao, T., Yen, H., Yu, J., & Chen, D. (2023). Enabling large language models to generate text with citations. Proceedings of EMNLP 2023. arxiv.org/abs/2305.14627
8. Roediger, H. L., & Karpicke, J. D. (2006). Test-enhanced learning: Taking memory tests improves long-term retention. Psychological Science, 17(3), 249–255. pubmed.ncbi.nlm.nih.gov/16507066