객관식 답 바꾸기, 처음 고른 답이 정말 맞을까

“처음 고른 답이 맞다, 고치면 손해”는 연구와 반대예요. 대학생 1,561명의 중간고사 답안지에서 바꾼 답을 세어 보니 오답에서 정답으로 바꾼 경우가 정답에서 오답으로 바꾼 경우의 두 배였어요. 다만 아무 답이나 바꾸라는 뜻은 아니에요. 풀면서 확신이 없던 문제를 표시해 두고, 다시 봤을 때 바꿀 이유를 한 줄로 말할 수 있으면 한 번만 바꾸는 게 연구들이 가리키는 방법이에요.

고치면 손해일까: 답안지를 세어 본 결과

이 질문은 생각보다 오래된 연구 주제예요. 시험지에 지운 자국이 남으니까, 바꾸기 전 답과 바꾼 뒤 답을 비교하면 바로 셀 수 있거든요. 2005년 Kruger, Wirtz, Miller는 일리노이 대학 심리학개론 수강생 1,561명의 객관식 중간고사 답안지를 모아, 코더들이 지운 흔적을 하나하나 확인했어요. 바꾼 답은 모두 3,291건이었어요.

2007년 독일 뮌헨 대학의 Bauer 등은 더 정밀하게 봤어요. 의대 3학년 79명이 78문항짜리 기말시험을 보면서 답을 바꿀 때마다 시험지에 “A→C”처럼 순서까지 적게 했어요. 그래서 처음 바꾼 것과 두 번째 이후로 또 바꾼 것을 나눠 볼 수 있었어요.

눈여겨볼 점은 두 가지예요. 하나는 바꾸는 답 자체가 많지 않다는 거예요. 30문항 시험이면 한두 문제 정도예요. 다른 하나는 바꾼 학생이 오른 점수도 크지 않다는 거예요. Bauer 등의 연구에서 평균 1.4점(78점 만점)이었어요. 그런데 대학 시험에서 1~2문제는 등급 경계를 넘기도 해요. “고치면 손해”를 믿고 그 1~2문제를 버릴 이유는 없어요.

그런데 왜 다들 ‘고쳐서 틀렸다’고 기억할까

Kruger 등이 정말 궁금해한 건 숫자보다 이쪽이었어요. 저자들이 소개한 이전 연구에 따르면 학생 4명 중 3명꼴로 답을 바꾸면 점수가 떨어진다고 믿었고, 교수들도 비슷했어요. 텍사스 A&M 대학 교수 설문에서는 55%가 첫 직감을 바꾸면 점수가 떨어질 거라고, 16%만 오를 거라고 답했어요.

저자들의 설명은 후회의 크기예요. 정답을 골라 놓고 오답으로 바꿔 틀리면 “아, 그냥 뒀으면 맞았는데” 하는 생각이 강하게 남아요. 반대로 오답을 그대로 둬서 틀리면 “원래 몰랐던 문제”로 넘어가요. 결과는 똑같이 한 문제를 잃은 건데, 앞쪽만 오래 기억에 남아요. 마트에서 줄을 바꿨는데 원래 줄이 더 빨리 빠지면 그 장면만 또렷이 기억나는 것과 같아요.

이걸 확인한 실험이 두 개 있어요.

• SAT·GRE 문제 실험: 30분 동안 어려운 객관식을 풀게 하고, 확실하지 않으면 답을 두 개 고른 뒤 어느 쪽이 첫 직감인지 표시하게 했어요. 첫 직감을 고수했을 때가 바꿨을 때보다 더 많이 틀렸는데, 참가자들은 정반대로 기억했어요.
• 퀴즈쇼 실험: 참가자들이 출연자가 문제를 푸는 모습을 지켜봤어요. 한 출연자는 계속 첫 답을 고수하고, 다른 출연자는 계속 바꿨는데, 연구자들이 맞힌 개수와 틀린 개수를 똑같이 맞춰 놨어요. 그래도 참가자들은 바꾼 쪽에서 더 답답해했고, 고수한 전략이 더 도움이 됐다고 기억했어요.

2016년 Couchman 등의 연구에서도 같은 일이 있었어요. 실제 심리학 객관식 시험이 끝난 직후, 학생들의 답안에서는 바꾼 답이 더 자주 맞았는데도 대부분이 “처음 고른 답이 더 맞을 것”이라고 답했어요. 그리고 그보다 더 많은 학생이 선생님이나 교수에게 그렇게 배웠다고 답했어요. 이 믿음은 내 경험과 주변 조언이 서로를 강화하면서 퍼지는 셈이에요.

그럼 무조건 바꾸면 될까: 바꿀 때와 둘 때

여기서 반대로 “다시 보면 다 바꿔라”로 가면 또 틀려요. 연구 결과에는 단서가 세 개 붙어 있어요.

1. 이득은 ‘바꾸고 싶었던 답’에서 나왔어요. 답 바꾸기 연구에는 방법론 논쟁이 있었어요. 바꾸는 학생과 안 바꾸는 학생이 애초에 다를 수 있다는 비판이었죠. 2018년 Kim은 이 논쟁을 다시 분석해, 바꾼 사람들에게는 바꾼 효과가 플러스였지만 바꾸지 않은 사람들이 바꿨다면 마이너스였을 거라고 정리했어요. 스스로 의심이 든 답을 바꾸는 건 이득이지만, 의심도 없는 답을 불안해서 바꾸는 건 다른 이야기라는 뜻이에요.
2. 두 번째 수정은 이득이 거의 없었어요. Bauer 등의 연구에서 같은 문제를 두 번 이상 바꾼 경우는 27문항뿐이었는데, 77.9%가 오답→오답이었고 평균 점수 변화는 0.11점이었어요. 저자들은 두 번째부터는 사실상 찍기에 가깝다고 봤어요. 논문의 결론도 “의심이 들 때 한 번” 바꾸라는 거예요.
3. 첫 직감이 맞는 문제도 많아요. Kruger 등도 첫 직감이 늘 틀렸다는 게 아니라, 그냥 알고 있는 문제라면 첫 답이 맞는 경우가 많다고 적었어요. Couchman 등의 두 번째 실험에서도 학생들이 확신을 기준으로 고수한 답은 대부분 맞았어요.

그럼 어떤 답을 바꾸고 어떤 답을 둘지는 어떻게 알까요. Couchman 등은 학생들에게 문제마다 “찍음” 또는 “앎”을 시험지에 적게 했어요. 그랬더니 가장 확신이 없던 문제에서 첫 답을 그대로 둔 경우는 절반 넘게 틀렸어요. 그리고 풀 때 문제마다 적은 확신은 그 문제를 맞힐지 잘 예측했는데, 시험이 끝난 뒤 물어본 전체 점수 짐작은 잘 맞지 않았어요. 풀 때의 확신은 금방 잊히니까 종이에 적어 둬야 쓸 수 있다는 게 연구자들의 설명이에요.

이 표는 위 연구들을 실제 시험에 옮긴 제안이에요. 연구가 직접 “이유를 한 줄로 쓰라”고 실험한 건 아니에요. 다만 이유가 있는 수정은 ‘의심이 들어서 다시 본 답’이고, 이유 없는 수정은 ‘불안해서 건드린 답’에 가까워서, 두 연구 결과를 가르는 가장 쉬운 기준이에요.

30문항 객관식 시험에서 표시하고 검토하는 법

전공 과목 중간고사가 5지선다 30문항, 50분이고, 틀려도 감점은 없다고 해 볼게요. 시간은 이렇게 나눠요.

표시는 세 가지면 충분해요. ◎는 설명할 수 있을 만큼 아는 문제, △는 보기 두 개 사이에서 고민한 문제, ?는 거의 모르고 고른 문제예요. 연구의 “찍음/앎” 두 칸을 세 칸으로 나눈 건 검토 순서를 정하기 위해서예요. 고민한 두 보기를 같이 적어 두면, 검토할 때 문제를 처음부터 다시 풀지 않고 그 두 개만 비교하면 돼요.

1회차를 마쳤더니 ◎ 17개, △ 9개, ? 4개가 나왔다고 해 볼게요. 검토 12분은 △ 9개에 약 9분, ? 4개에 2분, ◎ 지시어 확인에 1분이에요. 실제 검토는 이런 모습이에요.

7번을 고친 뒤 시험 막판에 다시 ②가 맞는 것 같아도 또 바꾸지 않아요. 두 번째 수정은 이득이 거의 없었다는 결과 때문이에요. 시간이 모자라면 △만 보고 끝내도 돼요. 검토 시간의 대부분을 쓸 가치가 있는 건 확신이 없던 문제예요.

시험이 끝나고 성적이 나오면 표시를 다시 꺼내요. ◎ 17개 중 몇 개를 맞혔는지, △ 9개 중 몇 개, 바꾼 2문제는 오답→정답이었는지 정답→오답이었는지 적어요. ◎인데 틀린 문제는 오개념일 가능성이 높아서 따로 관리해야 해요. 그 정리법은 오답노트 글의 ‘확신하고 틀린 문제’ 부분에 있어요.

찍기 속설: 긴 보기, 3번, 답 개수 세기

? 문제에서 쓰는 찍기 요령도 짚어 볼게요. “가장 긴 보기가 정답”, “모르면 3번”, “앞에서 적게 나온 번호로” 같은 말은 이번에 근거가 되는 연구를 찾지 못했어요. 대신 왜 이런 말이 생겼는지는 출제 지침을 보면 알 수 있어요.

2002년 Haladyna, Downing, Rodriguez는 교육평가 교재 27권과 1990년 이후 연구·리뷰 27편을 검토해 객관식 출제 지침 31개를 정리했어요. 그중에는 보기 길이를 비슷하게 맞추기, 정답 위치를 골고루 바꾸기, “항상·절대·전혀” 같은 단정어로 정답 단서를 주지 않기가 들어 있어요. 거꾸로 말하면, 긴 보기나 단정어 요령은 출제자가 이 지침을 어긴 문제에서만 통해요. 공들여 만든 시험일수록 잘 안 통하고, 어떤 시험에서 통할지 미리 알 방법도 없어요. 정답 개수가 번호마다 딱 맞게 나뉜다는 보장도 없어서, 개수 세기로 확신 있는 답을 바꾸는 건 위에서 본 ‘이유 없는 수정’이에요.

확실하게 쓸 수 있는 건 계산이에요. 5지선다에서 아무거나 고르면 맞을 확률은 1/5(20%)이지만, 확실히 아닌 보기 두 개를 지우면 1/3(약 33%), 세 개를 지우면 1/2이 돼요. 그러니 ? 문제에 쓸 시간은 “어느 번호를 찍을까”가 아니라 틀린 보기를 하나라도 더 지우는 데 써요. 틀려도 감점이 없는 시험이라면 빈칸으로 남기지 않는 게 계산상 맞아요. 감점이 있는 시험은 강의계획서나 시험 안내를 먼저 확인하세요.

내 표시가 얼마나 맞는지 알려면 문제가 많이 필요해요

정리하면 이래요. 풀면서 ◎·△·?를 적고, 검토는 △부터, 바꿀 이유를 한 줄로 말할 수 있을 때 한 번만 바꿔요. ◎는 지시어만 다시 읽고, ?는 틀린 보기를 지우는 데 시간을 써요. 도구 없이도 교재 연습문제와 연필 한 자루로 다 할 수 있어요.

다만 이 방법이 나한테 얼마나 맞는지는 시험 한 번으로는 잘 안 보여요. 30문항이면 △가 열 개 안팎이라, 바꾼 두세 문제의 결과는 우연에 크게 흔들려요. 내 ◎가 정말 믿을 만한지, 나는 △에서 바꾸는 쪽이 나은지 두는 쪽이 나은지 알려면 시험처럼 푼 문제와 그 기록이 여러 세트 쌓여야 해요. 손으로 하면 여기서 손이 많이 가요. 연습문제는 금방 바닥나고, 채점하고 해설을 찾는 데 시간이 들고, 틀린 문제를 따로 옮겨 적지 않으면 어느 과목에서 뭘 틀렸는지 흩어져요.

이 부분은 Notely AI 퀴즈가 맡을 수 있어요. 강의 PDF나 슬라이드를 넣고 유형을 객관식으로, 문제 수와 난이도, 범위를 골라 만들면 같은 범위로 연습 세트를 여러 번 만들 수 있어요. 답을 고르자마자 정답과 해설이 나와서, △로 고민한 두 보기 중 왜 한쪽이 틀렸는지 그 자리에서 확인할 수 있어요. 틀린 문제는 오답노트로 자동으로 모이고 과목·자료별로 걸러 다시 풀 수 있어서, 여러 세트의 오답이 섞이지 않아요. 다시 풀어 맞히면 정복으로 넘어가요. 확신 표시는 앱 밖에서 종이에 적고, 채점 결과와 나란히 놓고 보면 돼요. AI가 만든 문제와 해설도 틀릴 수 있으니 이상하면 원문과 맞춰 보세요.

처음 한 번은 이렇게 해 보세요. 이번 주 강의 자료 하나로 객관식 20문항 세트를 만들고, 종이에 1~20번을 적은 뒤 번호마다 ◎·△·?를 표시하며 풀어요. 다 풀면 표시별로 맞힌 개수를 세 칸에 적어 보세요. ◎ 정답률이 생각보다 낮거나 △ 정답률이 생각보다 높다면, 그게 시험장에서 바꿀지 말지를 정할 내 기준이 돼요.

자주 묻는 질문

출처

1. Kruger, J., Wirtz, D., & Miller, D. T. (2005). Counterfactual thinking and the first instinct fallacy. Journal of Personality and Social Psychology, 88(5), 725–735. doi.org/10.1037/0022-3514.88.5.725
2. Wirtz, D., Kruger, J., Miller, D. T., & Mathur, P. (2008). Think Again. SternBusiness, NYU Stern, Fall 2008 (위 논문 저자들의 해설 — 1,561명·3,291건·51%·25%·23%, 학생 4명 중 3명, 텍사스 A&M 55%·16%, 33편 리뷰, 실험 설명). w4.stern.nyu.edu
3. Benjamin, L. T., Jr., Cavell, T. A., & Shallenberger, W. R., III. (1984). Staying with initial answers on objective tests: Is it a myth? Teaching of Psychology, 11(3), 133–141 (내용은 위 두 출처와 아래 Bauer 등의 기술로 인용). doi.org/10.1177/009862838401100303
4. Bauer, D., Kopp, V., & Fischer, M. R. (2007). Answer changing in multiple choice assessment: Change that answer when in doubt – and spread the word! BMC Medical Education, 7, 28. doi.org/10.1186/1472-6920-7-28
5. Couchman, J. J., Miller, N. E., Zmuda, S. J., Feather, K., & Schwartzmeyer, T. (2016). The instinct fallacy: The metacognition of answering and revising during college exams. Metacognition and Learning, 11(2), 171–185. doi.org/10.1007/s11409-015-9140-8
6. Couchman, J. J. (2015-09-03). Should you rely on first instincts when answering a multiple choice exam? The Conversation (위 연구 1저자의 해설). theconversation.com
7. Kim, Y. (2018). Apples to oranges: Causal effects of answer changing in multiple-choice exams. arXiv:1808.10577. arxiv.org/abs/1808.10577
8. Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309–333. doi.org/10.1207/s15324818ame1503_5