예상문제 만드는 법, 족보 없이 강의 자료로 뽑기

족보가 없어도 예상문제는 강의 자료에서 뽑을 수 있어요. 학습 목표, 여러 번 나온 개념, 표와 예시, 교수님이 말로 강조한 곳이 출제 신호예요. 그리고 문제를 직접 만드는 것 자체가 공부예요. 대학 강의 실험에서 문제를 만든 학생은 1주 뒤 기억이 다시 읽은 학생보다 나았고, 문제를 푼 학생과 비슷했어요. 다만 용어 빈칸만 만들면 효과가 없었으니 ‘왜’와 ‘비교’, ‘적용’을 묻는 문제를 섞어야 해요.

핵심 요약

문제를 만들고 답까지 적어 보는 건 다시 읽기보다 오래 남았어요. 자료를 펴 놓고 만들어도 돼요.
세부 사실만 묻는 문제를 만든 그룹은 다시 읽기보다 나은 점이 없었어요. 개념을 묻는 문제를 만들어야 개념 문제가 올랐어요.
시험이 응용형이면 연습도 응용형으로. 사실 퀴즈만 푼 학생은 응용 시험에서 오르지 않았어요.
객관식을 만든다면 오답 보기를 그럴듯하게. 그래야 정답만이 아니라 헷갈리는 개념까지 같이 남아요.
예시: 슬라이드 40장 한 주차 → 출제 신호 표시 → 문제 15개, 약 70분.

예상문제를 만드는 것 자체가 공부예요

예상문제를 “족보 대신 쓸 문제지”로만 생각하면 맞혔는지 틀렸는지만 남아요. 그런데 연구에서는 만드는 과정에서 이미 기억이 남았어요.

대학 강의 실험 (Ebersbach 등, 2020): 독일 카셀 대학 연구진이 실제 대학 강의에서 세 가지 공부 방법을 비교했어요. 직접 문제를 만들기, 주어진 문제에 답하기, 다시 공부하기였어요. 1주 뒤 시험에서 문제를 만든 그룹과 문제를 푼 그룹은 이득을 봤고, 다시 공부한 그룹은 그렇지 않았어요. 추가 분석에서는 문제 만들기와 문제 풀기가 사실 지식과 응용 지식 모두에서 비슷한 효과를 냈어요.
자료를 펴 놓고 만들어도 될까 (Ebersbach, 2020): 대학생 231명이 글을 읽은 뒤 굵은 글씨 키워드에 대해 문제와 답을 만들었어요. 글을 펴 둔 조건, 완전히 덮은 조건, 키워드만 보여 준 조건으로 나눴어요. 1주 뒤 다시 읽은 그룹보다 나았다고 보고된 건 글을 펴 둔 조건과 키워드만 준 조건이었어요. 펴 둔 조건에서 문제와 답을 가장 많이 만들었고, 만든 개수가 많을수록 시험 점수도 높았어요.
질문 만들기를 가르친 연구 모음 (Rosenshine 등, 1996): 학생에게 읽은 내용으로 질문을 만드는 법을 가르친 개입 연구들을 모아 봤더니 이해도가 올랐어요. 효과 크기 중앙값은 표준화 시험에서 0.36, 연구자가 만든 시험에서 0.86이었어요. 주로 초·중·고 읽기 수업 연구라서 대학 시험에 그대로 옮길 숫자는 아니에요.

그래서 순서를 이렇게 잡아요. 처음 공부할 때는 자료를 펴 놓고 문제를 만들고, 며칠 뒤에는 자료를 덮고 그 문제를 풀어요. 만드는 단계에서 이해하고, 푸는 단계에서 떠올리는 거예요. “덮고 만들어야 진짜”라고 생각하기 쉽지만, 위 실험에서는 펴 놓은 쪽이 문제를 더 많이 만들었고 그만큼 더 남았어요.

어떤 문제를 만들어야 하나: 빈칸보다 ‘왜’와 ‘적용’

예상문제를 처음 만들면 대부분 “OO의 정의는 ___이다” 같은 빈칸 문제가 나와요. 만들기 쉬우니까요. 그런데 연구는 이런 문제만으로는 부족하다고 말해요.

Bugg와 McDaniel(2012)은 참가자에게 설명문을 읽으며 스스로 질문을 만들고 답하게 했어요. 한 그룹은 세부 사실 질문, 다른 그룹은 개념 질문을 만드는 법을 미리 배우고 연습했어요. 결과는 개념 질문을 만든 그룹만 다시 읽기보다 개념 문제를 잘 풀었고, 세부 질문을 만든 그룹은 이득이 없었어요. 개념 질문을 만든 그룹도 세부 문제에서는 다시 읽기보다 나은 점이 없었어요.
Agarwal(2019)은 중학생과 대학생에게 사실 문제, 응용·분석 같은 고차원 문제, 둘을 섞은 문제로 퀴즈를 보게 했어요. 퀴즈를 본 쪽이 다시 읽거나 퀴즈를 안 본 쪽보다 나중 시험을 잘 봤어요. 하지만 고차원 시험 점수를 올린 건 고차원 퀴즈와 섞은 퀴즈였고, 사실 퀴즈는 올리지 못했어요. “기초 사실부터 다 외워야 응용이 된다”는 흔한 생각과 다른 결과예요.
Pan과 Rickard(2018)는 연습 시험의 효과가 다른 문제로 옮겨 가는지 연구 67편(실험 122개, 1만 382명)을 모아 분석했어요. 옮겨 가는 효과가 평균적으로 있었고, 특히 응용·추론 문제로 잘 옮겨 갔어요. 반대로 연습 때 묻지 않은 내용으로는 잘 옮겨 가지 않았어요. 출판 편향을 보정하면, 이런 조건이 하나도 없을 때는 효과가 없다고 나오는 경우가 많았어요.

두 연구의 결과를 ‘연습한 문제 종류 → 점수가 오른 시험 문제 종류’로 옮긴 개념도예요. 숫자가 아니라 각 논문 초록이 보고한 유의한 효과의 유무만 표시했어요.

정리하면 두 가지예요. 첫째, 시험에 나올 문제와 같은 수준으로 만들어요. 서술형·사례형이 나오는 과목이면 정의 빈칸만으로는 안 돼요. 둘째, 만든 문제 범위만큼만 남아요. 연습한 내용이 안 묻은 내용까지 끌어올려 주지는 않으니, 시험 범위의 단원마다 최소 몇 문제씩은 있어야 해요.

강의 자료에서 출제 포인트 찾는 체크리스트

족보가 없을 때 가장 믿을 만한 단서는 교수님이 직접 만든 자료예요. 아래는 연구에서 정한 목록이 아니라, 대학 강의 자료의 구조를 바탕으로 정리한 제안이에요. 슬라이드를 넘기면서 해당하는 곳에 표시만 먼저 해요.

출제 신호	어디서 찾나	만들 문제
학습 목표·주차 목표	강의계획서, 주차 첫 슬라이드의 “이번 시간 목표”	목표 문장의 동사 그대로: “설명할 수 있다” → 서술형, “계산할 수 있다” → 계산 문제
여러 주차에 반복된 개념	요약 슬라이드, 다음 주 첫 슬라이드의 복습	정의 + 다른 개념과의 비교
표·비교 그림	A vs B 표, 장단점 표	“A와 B의 차이 두 가지”, 표의 빈칸 채우기
예시·사례	“예를 들어”, 그래프 예제, 실제 기업·환자 사례	숫자나 상황을 바꾼 새 사례 문제
공식·절차	수식, 단계 목록, 알고리즘	계산 문제, 순서 맞히기, 한 단계를 바꾸면 어떻게 되는지
교수님이 말로 강조한 곳	녹음·필기의 “이건 중요해요”, “시험에 나와요”, 칠판에 따로 쓴 것	그 부분은 유형을 바꿔 두 문제 이상
과제·수업 중 퀴즈	제출한 과제, 수업 중에 풀어 본 문제	같은 형식, 숫자·조건만 바꾼 문제

시험 형식은 추측하지 말고 물어보는 게 가장 정확해요. 강의계획서의 평가 항목을 먼저 보고, 없으면 “객관식인지 서술형인지, 문항 수가 어느 정도인지”만 짧게 여쭤 보세요. 형식을 알면 위 표에서 어느 줄에 시간을 더 쓸지 정해져요.

문제 유형별 만드는 법과 예시

미시경제학 한 주차, 수요의 가격탄력성을 예로 들어 볼게요. 슬라이드에 정의(수요량 변화율 ÷ 가격 변화율), 탄력적·비탄력적 구분(절댓값이 1보다 큰지), 가격과 총수입의 관계 표, 예제 그래프가 있다고 해요.

유형	만드는 법	예시 문제
단답형	정의를 그대로 베끼지 말고 “무엇을 무엇으로 나누나”처럼 구조를 묻기	수요의 가격탄력성은 무엇을 무엇으로 나눈 값인가?
객관식	오답 보기는 실제로 헷갈리는 개념으로 (변화율 대신 변화량, 공급 탄력성 등)	가격이 10% 오를 때 수요량이 20% 줄었다. 옳은 것은? ① 탄력성 0.5, 비탄력적 ② 탄력성 2, 탄력적 ③ 탄력성 2, 비탄력적 ④ 탄력성 0.5, 탄력적
O/X	흔한 오해를 문장으로 만들기	가격을 내리면 언제나 총수입이 늘어난다. (O/X, 이유 한 줄)
서술형·비교	표의 두 칸을 묶어 설명하게 하기	수요가 탄력적일 때와 비탄력적일 때, 가격 인하가 총수입에 주는 영향을 비교해 설명하시오.
사례형	슬라이드 예시의 상황·숫자를 바꾸기	한 카페가 아메리카노 가격을 내렸더니 판매량이 크게 늘고 매출도 늘었다. 이 카페 아메리카노 수요는 탄력적인가? 근거는?

객관식을 만들 때는 오답 보기에 시간을 써요. Little 등(2012)의 실험에서 오답 보기가 충분히 그럴듯한 객관식은 정답뿐 아니라 오답 보기와 관련된 내용까지 기억하게 했고, 같은 내용을 단서를 주고 답을 쓰게 하는 문제로 물었을 때는 이 효과가 없었어요. 반대로 Butler와 Roediger(2008)는 객관식이 오답 보기를 정답으로 잘못 외우게 만들 수도 있고, 정답을 확인하면 그 위험이 줄었다고 보고했어요. 그래서 만든 문제에는 반드시 정답과 이유를 같이 적어 둬요.

객관식과 단답형 중 하나만 골라야 한다면 크게 걱정하지 않아도 돼요. 중·고등학교 수업 연구(McDermott 등, 2014)에서 객관식 퀴즈든 단답형 퀴즈든 단원 시험 성적을 올렸고, 퀴즈 형식이 실제 시험 형식과 같을 필요는 없었어요. Kang 등(2007)의 실험에서는 정답을 알려 줄 때 단답형 쪽이 3일 뒤 시험에서 가장 좋았어요. 정답 확인을 할 거라면 단답형 비중을 늘리고, 시험이 객관식이라면 객관식도 섞는 정도면 충분해요.

직접 해 보기: 슬라이드 40장을 예상문제 15개로

한 주차 강의 슬라이드가 40장이고, 시험은 서술형 2문제와 객관식이 섞여 나온다고 들었다고 해 볼게요. 아래 시간과 문제 수는 연구가 정한 숫자가 아니라 이 글의 제안이에요.

단계	할 일	시간
1. 훑으며 신호 표시	위 체크리스트의 일곱 신호만 표시, 이 단계에서는 문제를 쓰지 않기	15분
2. 문제 만들기	자료를 펴 놓고 표시한 곳마다 문제 1~2개, 답과 근거 슬라이드 번호까지	40분
3. 답 확인	답이 슬라이드와 맞는지, 오답 보기가 정말 틀린지 확인	15분

표시해 보니 학습 목표 3개, 비교표 2개, 예제 3개, 공식 1개, 교수님이 강조한 곳 2곳이 나왔다면 문제는 이렇게 나눠요.

유형	개수	어디서
서술형·비교	3	학습 목표 3개의 “설명할 수 있다”
사례형	3	예제 3개의 상황·숫자를 바꿔서
객관식	5	비교표 2개, 공식 1개, 강조한 곳 2곳
단답형·O/X	4	강조한 곳은 유형을 바꿔 한 번 더, 나머지는 헷갈리는 용어

위 예시를 그린 그림이에요. 슬라이드 40장에서 출제 신호 11곳을 표시하고, 시험 형식(서술형이 나옴)에 맞춰 서술·사례형을 6개로 먼저 채운 뒤 나머지를 객관식·단답형으로 나눴어요. 숫자는 예시 가정이에요.

서술형·사례형을 먼저 채운 이유는 위 연구들 때문이에요. 사실 문제만 15개 만들면 만들기는 빠르지만 시험의 서술형에는 거의 도움이 안 될 수 있어요. 시험이 전부 객관식이라고 해도 비교·적용형 객관식을 절반 가까이 넣는 걸 추천해요.

만든 문제는 덮고, 날짜를 두고 풀어요

문제를 만든 날 바로 다시 풀면 거의 다 맞아요. 방금 만든 문제니까요. 그 점수는 시험 날의 실력이 아니에요. 만든 지 2~3일 뒤 자료를 덮고 풀고, 틀린 문제는 왜 틀렸는지 한 줄 적어 두세요. 틀린 이유를 나누고 다시 푸는 날짜를 잡는 법은 오답노트 만드는 법에, 시험까지 남은 날로 복습 간격을 정하는 법은 망각곡선 복습 주기에 정리해 뒀어요.

친구와 같이 준비한다면 각자 다른 주차를 맡아 문제를 만들고 서로 바꿔 푸는 방법도 있어요. 다만 위 연구에서 효과가 컸던 건 직접 만들기와 직접 풀기였어요. 남이 만든 문제만 받아 풀면 만드는 과정의 이득은 빠지니, 내가 맡은 주차만큼은 직접 만들어요.

AI로 예상문제를 만들 때 확인할 것

도구 없이도 위 방법은 종이와 슬라이드만으로 할 수 있어요. 시간이 부족해서 AI로 문제를 만든다면, 만드는 과정의 이득이 줄어드는 만큼 두 가지를 직접 해야 해요. 첫째, 정답이 원문과 맞는지 확인해요. 둘째, 문제 유형을 시험 형식에 맞게 고르고, 빈칸 문제만 나왔다면 비교·사례형을 따로 요청해요.

Notely AI 퀴즈에서는 강의 자료로 객관식·O/X·단답형·사례형 문제를 만들 때 문제 수·유형·난이도·범위를 고를 수 있고, 시험 범위로 예상 문제를 한 번에 만들 수 있어요. 틀린 문제는 오답노트로 자동으로 모이고 맞히면 정복으로 넘어가요. AI가 만든 문제도 틀릴 수 있으니, 헷갈리는 문제는 AI 요약의 근거 쪽 번호로 원문과 대조하고, 시험에 꼭 나올 것 같은 서너 문제는 직접 다시 만들어 보세요.

자주 묻는 질문

한 주차에 문제를 몇 개 만들어야 하나요?

정해진 개수는 없어요. 이 글의 예시는 슬라이드 40장에 15문제였어요. 기준은 개수보다 표시한 출제 신호마다 최소 한 문제씩 있는지, 그리고 시험 형식에 맞는 유형이 들어 있는지예요. 연습한 내용이 안 물어본 내용까지 끌어올려 주지는 않으니 단원을 비워 두지 마세요.

자료를 보면서 문제를 만들어도 효과가 있나요?

있어요. 대학생 231명 실험에서 글을 펴 놓고 문제와 답을 만든 조건은 1주 뒤 다시 읽은 그룹보다 나았고, 문제도 가장 많이 만들었어요. 대신 며칠 뒤 풀 때는 자료를 덮어요.

예상문제가 실제 시험에 안 나오면 시간 낭비 아닌가요?

문제가 그대로 나오지 않아도 만드는 과정에서 기억과 이해가 남아요. 대학 강의 실험에서 문제를 만든 그룹은 1주 뒤 응용 지식에서도 다시 공부한 그룹보다 나았다는 분석이 있었어요. 다만 시험 형식과 너무 다른 문제만 만들었다면 효과가 줄 수 있어요.

객관식 시험이면 객관식 문제만 만들면 되나요?

꼭 그럴 필요는 없어요. 수업 연구에서 퀴즈 형식이 실제 시험 형식과 같지 않아도 효과가 있었어요. 객관식을 만든다면 오답 보기를 그럴듯하게 만들고, 단답형도 섞어서 답을 직접 떠올리는 연습을 같이 하세요.

출처

Ebersbach, M., Feierabend, M., & Barzagar Nazari, K. B. (2020). Comparing the effects of generating questions, testing, and restudying on students’ long-term recall in university learning. Applied Cognitive Psychology, 34(3), 724–736. doi.org/10.1002/acp.3639
Ebersbach, M. (2020). Access to the learning material enhances learning by means of generating questions: Comparing open- and closed-book conditions. Trends in Neuroscience and Education, 19, 100130. pubmed.ncbi.nlm.nih.gov/32475478
Rosenshine, B., Meister, C., & Chapman, S. (1996). Teaching students to generate questions: A review of the intervention studies. Review of Educational Research, 66(2), 181–221. doi.org/10.2307/1170607
Bugg, J. M., & McDaniel, M. A. (2012). Selective benefits of question self-generation and answering for remembering expository text. Journal of Educational Psychology, 104(4), 922–931. doi.org/10.1037/a0028661
Agarwal, P. K. (2019). Retrieval practice & Bloom’s taxonomy: Do students need fact knowledge before higher order learning? Journal of Educational Psychology, 111(2), 189–209. doi.org/10.1037/edu0000282
Pan, S. C., & Rickard, T. C. (2018). Transfer of test-enhanced learning: Meta-analytic review and synthesis. Psychological Bulletin, 144(7), 710–756. doi.org/10.1037/bul0000151
Little, J. L., Bjork, E. L., Bjork, R. A., & Angello, G. (2012). Multiple-choice tests exonerated, at least of some charges. Psychological Science, 23(11), 1337–1344. pubmed.ncbi.nlm.nih.gov/23034566
Butler, A. C., & Roediger, H. L. (2008). Feedback enhances the positive effects and reduces the negative effects of multiple-choice testing. Memory & Cognition, 36(3), 604–616. pubmed.ncbi.nlm.nih.gov/18491500
McDermott, K. B., Agarwal, P. K., D’Antonio, L., Roediger, H. L., & McDaniel, M. A. (2014). Both multiple-choice and short-answer quizzes enhance later exam performance in middle and high school classes. Journal of Experimental Psychology: Applied, 20(1), 3–21. doi.org/10.1037/xap0000004
Kang, S. H. K., McDermott, K. B., & Roediger, H. L. (2007). Test format and corrective feedback modify the effect of testing on long-term retention. European Journal of Cognitive Psychology, 19(4–5), 528–558. doi.org/10.1080/09541440601056620