강의 녹음 텍스트 변환, 정확도 높이는 녹음법과 공부법

강의 녹음을 텍스트로 바꾸는 방법은 세 가지예요. 직접 들으며 받아 적기, 녹음 파일을 음성 인식(STT) 서비스에 올리기, 수업 중에 실시간 자막으로 받기. 지금은 뒤의 두 가지가 기본이고, 어떤 앱을 쓰느냐만큼 녹음 상태가 결과를 크게 갈라요. 마이크를 말하는 사람 가까이 두고, 변환된 글은 1분만 떼어 채점해 본 뒤, 전공 용어만 강의 자료와 대조해 고치면 돼요.

핵심 요약

“정확도 98%”는 대개 업체가 자기 기준으로 잰 값이에요. 한국어를 낭독한 문장에서도 공개 모델의 단어 오류율이 14.3%였어요.
같은 회의를 참석자마다 단 개인 마이크로 받으면 단어 오류율 16.9%, 탁자 위 마이크 하나로 받으면 36.4%였어요. 앞자리에 앉고 휴대폰을 교수님 쪽에 두는 것만으로 달라지는 게 커요.
실시간 자막과 녹음 후 변환의 차이는 한 연구에서 7.9% 대 8.1%로 작았어요. 수업 중에 쓸 거면 실시간, 이미 녹음한 파일이면 업로드예요.
텍스트는 노트가 아니라 원재료예요. 받아 적기는 기계에 맡기고, 수업 중에는 시각만 표시하고, 수업 뒤에 용어를 고친 다음 덮고 떠올려요.

강의 녹음을 텍스트로 바꾸는 세 가지 방법

방법마다 드는 시간과 잘 맞는 상황이 달라요. 셋 중 하나만 고를 필요는 없어요. 평소 수업은 자동 변환으로 받고, 시험에 꼭 나온다고 한 10~20분만 직접 들으며 정리하는 식으로 섞어 쓰는 게 현실적이에요.

방법	걸리는 시간	정확도를 좌우하는 것	잘 맞는 경우
직접 들으며 받아 적기	녹음 길이의 몇 배 (5분만 해 보고 재 보세요)	내 귀와 집중력. 들리는 만큼은 가장 정확	시험 예고가 나온 짧은 구간, 수식·그림 설명
녹음 파일 올려서 변환	기다리는 시간 + 교정 시간	녹음 품질(거리·소음), 인식 언어 설정	이미 녹음해 둔 파일, 녹화 강의
실시간 자막	수업 중 바로. 교정은 수업 뒤	녹음 품질. 앞뒤 문맥을 덜 보고 바로 적는 만큼 조금 손해	말이 빨라 따라가기 어려운 과목, 수업 중 놓친 말 확인

직접 받아 적는 시간은 사람마다 차이가 커서 정해진 배수를 믿기보다 재 보는 게 정확해요. 녹음 중간 5분을 골라 받아 적고 걸린 시간을 재면, 75분 강의 전체에 드는 시간은 그 값의 15배예요. 대부분 이 계산을 한 번 해 보면 전체를 손으로 받아 적을 생각은 접게 돼요.

실시간 자막이 파일 변환보다 훨씬 부정확하다는 말도 흔한데, 차이는 생각보다 작아요. 2023년 Macháček 등은 공개 음성 인식 모델 Whisper를 실시간으로 돌리는 시스템을 만들어 유럽의회 영어 연설로 쟀어요. 녹음을 한 번에 변환했을 때 단어 오류율이 7.9%, 실시간으로 약 1초 단위로 받아 적었을 때 8.1%였고, 자막은 말보다 3~4초쯤 늦게 나왔어요. 독일어는 9.2%에서 9.4%, 체코어는 12.3%에서 12.9%였어요. 연설은 강의보다 또박또박한 편이라 그대로 옮길 수는 없어요. 다만 아래에서 볼 마이크 위치의 차이와 나란히 놓으면, 실시간이냐 아니냐는 상대적으로 작은 변수예요.

“정확도 98%”는 무엇을 센 숫자일까

변환 서비스 소개 페이지에는 “정확도 98%”, “98.86%” 같은 숫자가 자주 나와요. 그런데 어떤 녹음으로, 무엇을 세서 낸 값인지는 거의 적혀 있지 않아요. 음성 인식 연구에서는 정확도 대신 오류율을 써요. 정답 문장과 비교해 바뀐 것, 빠진 것, 끼어든 것을 세서 전체 개수로 나눠요. 단어 단위로 세면 단어 오류율(WER), 글자 단위로 세면 글자 오류율(CER)이에요.

한국어는 이 둘의 차이가 특히 커요. 띄어쓰기 단위인 어절 하나에 조사와 어미가 붙어 있어서, 한 글자만 틀려도 어절 하나가 통째로 틀린 걸로 세지기 때문이에요. 운영체제 수업의 한 문장으로 직접 계산해 볼게요.

	문장	단어(어절) 기준	글자 기준
교수님 말	기아 문제는 에이징으로 해결해요	4어절	14글자 (띄어쓰기 빼고)
변환 결과	기아 문제는 애이징으로 해결해요	1어절 틀림 → 오류율 25%	1글자 틀림 → 오류율 약 7%

똑같은 실수 하나가 단어 기준으로는 25%, 글자 기준으로는 7%예요. 그래서 서비스끼리 숫자를 바로 비교하면 안 되고, 숫자가 작아도 틀린 그 한 단어가 시험에 나올 용어일 수 있어요. 위 예시에서 틀린 게 ‘에이징’이었던 것처럼요.

공개된 연구 수치로 감을 잡아 볼게요. OpenAI가 2022년에 공개한 Whisper 논문은 68만 시간의 음성으로 학습한 모델을 여러 언어로 평가했어요. 한국어는 위키백과에서 뽑아 번역한 문장을 원어민이 소리 내어 읽은 녹음(FLEURS)에서 가장 큰 모델의 단어 오류율이 14.3%였어요. 가장 작은 모델은 36.1%였고요. 논문은 한국어를 학습 데이터 양으로 예상한 것보다 성능이 낮게 나온 언어 중 하나로 꼽기도 했어요.

강의는 이 조건보다 어려워요. 원고 없이 말하고, 말을 고치고, 전공 용어와 영어가 섞이고, 마이크가 멀어요. 그러니 한국어 강의 녹음의 텍스트에 고칠 곳이 꽤 남는 건 앱이 유난히 나빠서가 아니라 원래 그런 거예요. 이건 위 수치로부터 추론한 거라, 정확한 오류율은 내 녹음으로 직접 재는 게 맞아요. 재는 법은 아래에 있어요.

정확도를 크게 바꾸는 마이크 거리와 소음

같은 모델, 같은 회의를 마이크만 바꿔 받은 결과가 Whisper 논문에 있어요. AMI라는 영어 회의 녹음에서, 참석자마다 단 개인 마이크(헤드셋 등)로 받으면 단어 오류율이 16.9%, 탁자 위에 놓인 마이크 하나로 받으면 36.4%였어요. 모델은 그대로인데 마이크 위치만으로 오류가 두 배 넘게 늘었어요.

Whisper 논문(Radford 등, 2022) 표 2의 AMI 회의 녹음 결과예요(영어, 가장 큰 모델 large-v2). 같은 회의를 헤드셋으로 받으면 16.9%, 탁자 위 마이크 하나로 받으면 36.4%였어요. 한국어 강의에서도 같은 값이 나온다는 뜻은 아니에요.

이유는 단순해요. 소리의 세기는 거리의 제곱에 반비례해서, 교수님과 휴대폰 사이가 1m에서 4m로 멀어지면 들어오는 목소리 세기는 16분의 1로 줄어요. 실내에서는 벽에 반사된 소리가 섞여서 이만큼 정확히 줄지는 않지만, 반사음 자체가 또 인식을 흐려요. 반대로 옆자리 타자 소리, 에어컨, 책상 진동은 휴대폰 바로 옆에 있어서 그대로예요. 목소리는 작아지고 잡음은 그대로니 인식이 나빠지는 거예요. Whisper 논문의 소음 실험에서도 식당처럼 웅성거리는 소음을 섞자 모든 모델의 오류율이 빠르게 올라갔어요.

그래서 녹음 요령은 결국 “목소리는 크게, 잡음은 작게”예요. 아래는 이 원리를 강의실에 적용한 제안이에요.

앞쪽, 교탁에 가까운 자리. 교수님이 마이크와 스피커를 쓰는 대형 강의실이라면 스피커 가까운 자리도 괜찮아요.
휴대폰 마이크를 교수님 쪽으로, 가리지 않게. 케이스나 필통이 마이크 구멍을 막지 않는지 확인해요.
휴대폰 밑에 손수건이나 파우치. 책상을 두드리는 소리, 필기할 때 진동이 덜 들어가요.
노트북 키보드와 떨어뜨리기. 타자 소리는 가까이 있어서 목소리보다 크게 들어갈 수 있어요.
방해 금지 모드. 알림음과 진동이 녹음에 그대로 섞여요.
수업 시작 전 10초 테스트. 녹음해서 바로 들어 보고, 교수님 목소리가 옆 사람 말소리보다 또렷한지 확인해요.
질문한 학생의 말은 거의 안 잡혀요. 교수님이 질문을 되풀이하지 않으면 그 시각과 질문을 메모해 두세요.

녹음 앱의 음질 설정을 ‘최고’로 올리는 건 생각보다 덜 중요해요. Whisper만 해도 들어온 소리를 모두 16,000Hz로 바꿔서 처리해요. 다른 서비스도 비슷할 가능성이 크지만 확인된 건 아니라서, 파일 크기와 업로드 시간이 부담이면 기본 설정으로 충분한지 1분 샘플로 비교해 보세요.

변환된 텍스트를 1분 샘플로 채점하는 법

텍스트를 처음부터 끝까지 다시 들으며 고치면 받아 적는 것만큼 시간이 들어요. 대신 1분만 떼어 채점하면 이 녹음을 얼마나 믿어도 되는지, 어디를 손봐야 하는지가 나와요.

녹음 중간쯤, 교수님이 개념을 설명하는 1분을 골라요. 시작 인사나 출석 부분은 빼요.
그 1분을 들으면서 텍스트에서 틀린 어절에 표시해요. 빠진 말, 없는 말이 끼어든 곳도 표시해요.
틀린 어절 수를 그 1분의 전체 어절 수로 나눠요. 60어절 중 9개면 단어 오류율 15%예요.
틀린 것 중 전공 용어가 몇 개인지 따로 세요. 이 숫자가 다음 할 일을 정해요.

채점 결과	할 일
틀린 게 대부분 조사·어미·말버릇	그대로 써요. 내용 이해에는 거의 지장이 없어요.
전공 용어가 틀림	강의 자료(PPT)의 표기로 고쳐요. 같은 용어가 같은 식으로 틀렸다면 ‘찾아 바꾸기’로 한 번에 끝나요.
같은 문장이 반복되거나, 구간 앞뒤가 빠지거나, 들은 적 없는 문장이 있음	그 구간만 다시 들어요. 아래 설명처럼 자동 변환에서 실제로 보고된 오류 유형이에요.
전체적으로 알아보기 어려움	교정보다 다음 수업의 녹음 위치를 바꾸는 게 빨라요.

세 번째 줄은 꼭 기억해 두세요. Whisper 논문은 모델이 커질수록 비슷한 소리를 헷갈리는 실수는 꾸준히 줄었지만, 긴 녹음에서 같은 말을 되풀이하거나, 구간의 처음이나 끝 몇 단어를 빠뜨리거나, 실제 소리와 전혀 상관없는 문장을 만들어 내는 오류가 남아 있다고 적었어요. 사람이라면 하지 않을 종류의 실수라서, 내용이 그럴듯하게 이어지면 그냥 넘기기 쉬워요. 교수님이 판서하느라 조용했던 구간, 쉬는 시간 직후처럼 소리가 끊겼던 곳을 먼저 확인하세요.

텍스트는 노트가 아니라 원재료예요

전체 텍스트가 생기면 필기는 안 해도 될까요. 필기 연구를 보면 답이 조금 복잡해요. 2014년 Mueller와 Oppenheimer는 노트북으로 필기한 학생들이 강의를 그대로 받아 적는 경향이 있었고, 그게 개념을 묻는 문제에서 불리했다고 보고했어요. 그런데 2019년 Morehead 등이 같은 실험을 그대로 다시 해 보니, 손 필기 쪽이 조금 낫다는 경향은 있었지만 집단 사이 차이가 일관되게 나타나지 않았어요. 필기를 아예 하지 않은 집단과도 마찬가지였고, 학생들이 노트를 공부하고 나서는 차이가 더 줄었어요.

2013년 Bui 등의 실험은 텍스트 변환과 더 직접 닿아요. 컴퓨터로 강의를 최대한 받아 적은 학생들은 바로 본 시험에서 가장 잘 기억했지만, 노트를 다시 공부하지 않고 시간이 지나 본 시험에서는 정리하며 필기한 학생들이 앞섰어요. 그런데 노트를 공부할 시간을 주자 받아 적은 학생들이 지연 시험에서도 앞섰어요. 내용이 빠짐없이 남아 있는 노트는 다시 공부할 때 힘을 낸다는 뜻이에요.

이걸 녹음 텍스트에 옮기면 역할을 나누는 게 맞아요. 이건 위 연구들을 적용한 제안이에요.

받아 적기는 기계에게. 수업 중에 문장을 따라 적느라 듣기를 놓칠 필요가 없어요.
수업 중 내 일은 표시하기. “여기 시험”, “이해 안 됨”, “예시 중요”가 나온 순간의 녹음 시각과 한두 단어만 적어요. 나중에 75분짜리 텍스트에서 볼 곳을 바로 찾게 해 줘요.
수업 뒤 내 일은 떠올리기. 텍스트를 여러 번 읽는 건 다시 읽기와 같아서 오래 남지 않아요. 표시한 구간을 정리한 다음에는 덮고 떠올려야 해요. 방법은 백지 복습법 글에 단계별로 정리해 뒀어요.

75분 강의 하나를 텍스트로 바꿔 공부하는 하루

화요일 10시 30분부터 75분짜리 운영체제 강의가 있고, 이번 주 범위는 CPU 스케줄링이라고 해 볼게요. 녹음 허락은 학기 초에 받아 뒀다고 할게요. 강의 녹음은 학교와 교수님 방침에 따라 허용 여부가 달라서, 녹음 전에 꼭 허락을 받고 개인 학습용으로만 써야 해요.

언제	할 일	시간
수업 전	강의 자료를 열어 이번 주 용어(FCFS, SJF, 라운드 로빈, 타임 퀀텀, 기아, 에이징) 확인. 앞자리, 휴대폰 위치, 10초 테스트	3분
수업 중	녹음 또는 실시간 자막. 종이에 “23:10 간트 차트 시험”, “41:30 퀀텀 크기 이해 안 됨”처럼 시각과 한두 단어만	75분
당일 저녁 ①	1분 샘플 채점. 틀린 전공 용어를 강의 자료 표기로 일괄 수정	10분
당일 저녁 ②	표시한 두 구간만 다시 듣고 텍스트 정리. “이해 안 됨” 구간은 질문 하나로 적기	15분
당일 저녁 ③	텍스트를 덮고 빈 종이에 스케줄링 방식 네 가지와 장단점 쓰기, 텍스트와 대조	15분
다음 날	질문 카드로 다시 떠올리기. 이후 복습 날짜는 시험 날짜 기준으로	10분

위 하루를 그린 개념도예요. 텍스트를 처음부터 다 읽지 않고, 수업 중 표시한 시각과 1분 샘플로 볼 곳을 좁힌 다음 덮고 떠올리는 데 시간을 써요.

수업 뒤에 쓰는 시간은 40분 안팎이에요. 75분 녹음을 처음부터 다시 듣는 것보다 짧고, 다시 읽기만 하는 것보다 남는 게 많아요. 다음 날 이후의 복습 간격은 망각곡선 복습 주기 글의 방식대로 시험까지 남은 날로 정하면 돼요.

도구를 고를 때 확인할 것

도구 이름보다 내 상황에 맞는지를 먼저 봐요. 아래 다섯 가지는 공식 페이지나 앱 설명에서 확인할 수 있어요.

인식 언어. 영어 원서 강의나 영어가 많이 섞인 수업이면 언어를 고를 수 있는지 봐요. 예를 들어 네이버 클로바노트의 앱스토어 설명(2026-10-24 확인)에는 한국어·영어·일본어·중국어를 고를 수 있다고 적혀 있어요.
정확도에 대한 단서. 같은 설명에 “녹음 기기와 음질, 네트워크 상태에 따라 음성 인식의 정확도가 달라집니다”라고 적혀 있어요. 만드는 쪽도 녹음 상태를 첫 번째 변수로 봐요.
한 달 녹음 시간 한도. 75분 수업을 일주일에 세 번 녹음하면 4주에 15시간이에요. 무료 한도로 감당되는지 계산해 보세요.
시각 표시와 다시 듣기. 텍스트 줄마다 녹음 시각이 붙고, 누르면 그 부분부터 다시 들을 수 있어야 1분 샘플과 표시 구간 확인이 빨라요.
녹음 데이터 처리. 업로드한 녹음을 AI 학습에 쓰는지 개인정보 처리방침에서 확인해요. 교수님 강의를 남의 학습 데이터로 넘기는 일이 될 수 있어요.

Notely 강의 받아쓰기는 녹음 버튼을 누르면 말하는 즉시 자막이 쌓이고, 이미 녹음한 음성 파일이나 MP4·WebM 영상도 올릴 수 있어요. 줄마다 시각이 붙고 시각을 누르면 그 부분부터 다시 들을 수 있어서, 위의 1분 샘플 채점과 표시 구간 확인에 그대로 쓸 수 있어요. 업로드한 자료와 녹음은 AI 학습에 쓰지 않고, 녹음 시간은 무료 월 1시간, Pro 월 15시간이에요.

녹음을 마치면 Notely가 요약·개념·퀴즈·플래시카드까지 이어서 만들어 줘서, 당일 저녁 ③의 떠올리기 재료로 쓸 수 있어요. 다만 요약도 변환된 텍스트를 바탕으로 하니, 용어를 고치기 전이라면 틀린 용어가 그대로 들어갈 수 있어요. 요약의 근거를 원문과 대조하는 습관은 그대로 가져가세요.

자주 묻는 질문

실시간 자막과 녹음 후 변환 중 뭐가 더 정확한가요?

녹음을 한 번에 변환하는 쪽이 앞뒤 문맥을 더 볼 수 있어서 조금 유리해요. 다만 실시간 시스템을 잰 한 연구에서 차이는 영어 기준 7.9% 대 8.1%로 작았어요. 연구 숫자로 보면 실시간 여부보다 마이크 거리와 소음의 영향이 훨씬 컸어요.

녹음만 하고 수업 중에 필기는 안 해도 되나요?

문장을 따라 적는 필기는 텍스트 변환으로 대신해도 돼요. 대신 시험 예고, 이해 안 되는 곳, 중요한 예시가 나온 녹음 시각은 적어 두세요. 그 표시가 있어야 수업 뒤에 긴 텍스트에서 볼 곳을 바로 찾을 수 있어요.

전공 용어가 자꾸 틀리게 변환돼요.

흔한 일이에요. 강의 자료에서 그 주의 용어를 먼저 뽑아 두고, 변환된 텍스트에서 틀린 표기를 찾아 한꺼번에 바꾸세요. 같은 식으로 틀렸다면 찾아 바꾸기로 한 번에 고쳐져요. 계속 엉망이면 교정보다 녹음 자리를 앞으로 옮기는 게 빨라요.

영어와 한국어가 섞인 강의도 변환되나요?

서비스마다 달라요. 인식 언어를 하나 고르게 돼 있는 앱이 있으니 설명서를 먼저 확인하고, 섞인 강의는 1분 샘플로 영어 용어가 제대로 나오는지 채점해 보세요. 영어 용어만 틀린다면 강의 자료의 영어 표기로 찾아 바꾸면 돼요.

강의를 녹음해도 괜찮나요?

학교와 교수님 방침에 따라 달라요. 녹음 전에 꼭 허락을 받고, 녹음과 텍스트는 개인 학습용으로만 쓰세요. 다른 사람에게 파일을 넘기거나 올리는 건 허락받은 범위를 넘을 수 있어요.

출처

Radford, A., Kim, J. W., Xu, T., Brockman, G., McLeavey, C., & Sutskever, I. (2022). Robust speech recognition via large-scale weak supervision. arXiv:2212.04356 (표 2 AMI IHM·SDM1, 표 13 FLEURS 한국어, 3.7절 소음, 6절 오류 유형). arxiv.org/abs/2212.04356
Conneau, A., et al. (2023). FLEURS: Few-shot learning evaluation of universal representations of speech. IEEE SLT 2022. arxiv.org/abs/2205.12446
Macháček, D., Dabre, R., & Bojar, O. (2023). Turning Whisper into real-time transcription system. IJCNLP-AACL 2023: System Demonstrations. doi.org/10.18653/v1/2023.ijcnlp-demo.3
Mueller, P. A., & Oppenheimer, D. M. (2014). The pen is mightier than the keyboard: Advantages of longhand over laptop note taking. Psychological Science, 25(6), 1159–1168. doi.org/10.1177/0956797614524581
Morehead, K., Dunlosky, J., & Rawson, K. A. (2019). How much mightier is the pen than the keyboard for note-taking? A replication and extension of Mueller and Oppenheimer (2014). Educational Psychology Review, 31, 753–780. doi.org/10.1007/s10648-019-09468-2
Bui, D. C., Myerson, J., & Hale, S. (2013). Note-taking with computers: Exploring alternative strategies for improved recall. Journal of Educational Psychology, 105(2), 299–309. doi.org/10.1037/a0030367
HyperPhysics (Georgia State University). Inverse square law, sound. hyperphysics.gsu.edu
NAVER Corp. 클로바노트 앱 설명 (App Store, 2026-10-24 확인). apps.apple.com