회사에서 수집한 음성 파일을 받아 적어 검색 가능하게 만드는 중. 이 작업이 바로 음성 인식(STT, Speech-to-Text)임.
지금까지는 클라우드 서비스에 음성을 보내 받아 적게 했지만, 권한 설정이 까다롭고 쓸 때마다 비용도 발생. 그래서 공개된 AI 모델을 서버에서 직접 돌리는 방법을 검토했음.
조건은 다음과 같음.
- 하루 처리 대상 음성 10~20개, 하나당 80초 이내.
- 서버에 AI 계산용 그래픽카드(GPU) 없음. 일반 CPU로만 처리 필요.
- 다루는 언어는 한국어·일본어·러시아어·영어 4개.
두 후보
| 구분 | Whisper large-v3 | Qwen3-ASR-1.7B |
|---|---|---|
| 만든 곳 | OpenAI | 알리바바 Qwen 팀 |
| 공개 시점 | 2023년 | 2026년 1월 |
| 지원 언어 | 99개 | 30개 (+ 중국어 방언 22개) |
| 특징 | 가장 널리 쓰이는 검증된 모델 | 최신 모델. 제작사는 Whisper보다 낫다고 발표 |
둘 다 무료로 쓸 수 있고, 어떤 언어인지 스스로 알아챔. 문제는 제작사 발표가 전부 GPU 기준이라는 점. CPU에서는 어떤지 알 수 없으니 직접 시험함.
Cohere Transcribe와 SenseVoice도 검토했지만 둘 다 러시아어 미지원이라 제외.
먼저 알아둘 용어
- 오류율: 받아 적은 결과가 정답과 얼마나 다른지 나타내는 수치. 낮을수록 좋음. 한국어·일본어는 글자 기준(CER, 4.5면 100글자 중 4.5글자가 틀렸다는 뜻), 러시아어·영어는 단어 기준(WER) 사용.
- 처리 시간: 이 글에서는 "1분짜리 음성을 처리하는 데 걸린 시간"으로 표기. 짧을수록 좋음.
- VAD(음성 구간 검출): 음성 파일에서 사람이 말하는 부분만 골라내는 전처리 기능. 침묵·잡음 구간을 잘라내고 말소리만 모델에 넘겨서, 환각 기회도 줄고 처리 분량도 감소해 빨라짐. Whisper에서는 옵션이라 켠 것과 끈 것을 둘 다 측정함. Qwen은 이 옵션 없이 그대로 사용.
- 환각(hallucination): AI가 없는 내용을 지어내는 현상. 음성 인식에서는 아무 말도 없는 구간에 그럴듯한 문장을 적어 넣는 식으로 나타남.
- 계산 정밀도(int8 · bf16 · fp32): AI가 숫자를 얼마나 촘촘하게 계산하는지 나타냄. fp32가 가장 정밀하고, bf16·int8은 정밀도를 조금 낮춘 대신 빠르고 메모리를 덜 사용. 사진 해상도를 낮추면 파일이 가벼워지는 것과 비슷한 개념. 실제로는 정확도 차이가 거의 없는 경우가 많음.
비교 방법
- 시험지 1: FLEURS(공개 데이터셋). Google이 공개한 음성 시험지로, 발화 녹음과 정답 문장이 함께 있어 오류율을 정확히 계산 가능. 4개 언어 각각 10개, 모두 40개 사용.
- 시험지 2: 실제 수집 음성. 실제로 처리해야 하는 음성 10개(6개 나라, 4~76초). 정답이 없어 오류율 계산 불가 — 속도와 이상한 동작 여부만 확인.
공정 조건: 두 모델 모두 같은 서버에서 CPU 16개, 메모리 32GB로 제한해서 구동. 모델 로드 시간은 처리 시간에서 제외, 모델당 첫 1건은 예열로 쓰고 측정에서 제외함.
결과 1: 정확도
| 한국어 (100글자당) | 일본어 (100글자당) | 러시아어 (100단어당) | 영어 (100단어당) | |
|---|---|---|---|---|
| Whisper | 4.5 | 4.1 | 4.9 | 6.5 |
| Whisper + VAD | 4.0 | 2.4 | 4.9 | 6.5 |
| Qwen3-ASR | 3.4 | 4.5 | 4.2 | 6.5 |
- 한국어: Qwen이 가장 정확. Whisper보다 틀린 글자가 약 24% 적음.
- 러시아어: Qwen이 더 정확함.
- 일본어: Whisper가 더 정확. VAD를 켜면 개선(4.14 → 2.41).
- 영어: 세 설정 모두 동일. 정답 "twentieth"를 "20th"로 적는 식의 표기 차이라 사실상 무승부.
- 언어 감지: 세 경우 모두 40개 중 40개 정답.
언어마다 10문장씩만 시험했기 때문에 1점 안팎의 차이는 우연일 수 있음. 다만 한국어와 러시아어는 어떤 설정으로 바꿔도 Qwen이 앞섰고, 일본어는 어떤 설정에서도 Whisper가 앞선 것은 동일함.
결과 2: 속도
| 공개 시험지 | 실제 음성 | 메모리 사용량 | |
|---|---|---|---|
| Whisper | 약 29초 | 약 42초 | 4~6GB |
| Whisper + VAD | 약 30초 | 약 9초 | 4GB |
| Qwen3-ASR | 약 12초 | 약 4초 | 5~6GB |
- 깨끗한 음성에서는 Qwen이 Whisper보다 2.4배 빠름.
- 실제 음성에서는 차이가 최대 10배까지 벌어짐. 이유는 결과 3에서 설명.
- VAD를 켜면 Whisper도 실제 음성에서 크게 빨라짐(말소리 없는 구간을 건너뜀). 그래도 Qwen이 2배 이상 빠름.
- 하루 10~20개 처리량에는 둘 다 충분한 속도.
결과 3: 조용한 파일에서 생긴 일
실제 음성 몇 개는 말소리가 거의 없거나 잡음만 들어 있었음. 여기서 두 모델 차이가 가장 크게 드러남.
VAD 없는 Whisper는 없는 말을 지어냄.
- 의미 없는 짧은 문구를 계속 반복해서 적음.
- 유튜브 영상 끝에 나오는 "시청해 주셔서 감사합니다" 같은 인사말을 적음. Whisper에서 널리 알려진 환각임.
- 언어도 엉뚱하게 판단(노르웨이어, 페르시아어, 말레이어 등).
- 처리 시간이 오히려 음성 길이보다 길었음. 44초 파일에 58초, 72초 파일에 85초. Qwen은 같은 두 파일을 각각 1.5초, 3.2초에 처리.
지어낸 문장이 검색 결과에 섞인다는 게 제일 큰 문제였고, 이것이 VAD 필수라는 결론의 근거임.
Qwen은 소리가 없는 두 파일에서 아무것도 적지 않음. 올바른 동작임.
VAD를 켠 Whisper도 대부분 아무것도 적지 않았고 인사말 환각 1건만 남음. 다른 두 파일에서는 Qwen이 짧은 문구를 적었고 VAD 켠 Whisper는 아무것도 적지 않았는데, 정답이 없어서 어느 쪽이 맞는지는 판단 불가였음.
Qwen에도 문제가 하나 있었음. 한국어로 제대로 받아 적어 놓고 언어 이름만 "중국어"로 붙인 경우가 1건. 모델이 알려주는 언어 이름은 참고용으로만 사용하기로 함.
결론: Qwen3-ASR 채택
| 비교 항목 | 더 나은 쪽 |
|---|---|
| 한국어·러시아어 정확도 | Qwen3-ASR |
| 일본어 정확도 | Whisper (VAD 켠 경우) |
| 영어 정확도 | 무승부 |
| 속도 | Qwen3-ASR (2배 이상) |
| 말소리 없는 파일 처리 | Qwen3-ASR |
| 메모리 | 비슷함 |
| 사용 사례와 자료의 양 | Whisper |
우리에게 가장 중요한 한국어 정확도와 속도에서 Qwen이 앞섬. 조용한 파일에서 엉뚱한 글을 만들지 않는다는 점도 컸음. 수집 음성 중에는 잡음만 있는 파일이 꽤 섞여 있기 때문임.
Whisper를 쓴다면 VAD는 필수로 켤 것. 켜지 않으면 지어낸 문장이 검색 결과에 섞이고 처리 시간도 늘어남.
이번 비교의 한계
- 언어마다 10문장만 시험. 어느 쪽이 나은지 방향은 믿을 만하지만 소수점 차이에는 의미를 두지 않는 것이 좋음.
- 공개 시험지는 조용한 곳에서 또박또박 읽은 음성임. 통화 녹음이나 시끄러운 환경에서는 결과가 다를 수 있음.
- 실제 음성은 10개뿐이고 정답이 없음. 속도와 이상 동작만 비교함.
- 측정 동안 같은 서버에서 다른 서비스도 함께 구동. 시간 측정값은 10% 정도 오차 가능.
부록: 개발자용 상세
- CPU: Intel Xeon Silver 4510 (AMX, AVX-512 BF16 지원). 컨테이너에 CPU 16코어, 메모리 32GB. GPU 없음.
- Python 3.12, torch 2.15 (CPU), faster-whisper 1.2.1, ctranslate2 4.8.5, qwen-asr 0.0.6, transformers 4.57.6
- 모든 설정에서 스레드 16개. Whisper는 beam_size=5, Qwen은 기본 디코딩, 배치 크기 1. 라이브러리 기본 디코딩이라 탐색 폭은 동일하지 않음.
| 설정 | ko CER | ja CER | ru WER | en WER | 언어 감지 | RTF (FLEURS) | RTF (실제) | 로드 | 최대 메모리 |
|---|---|---|---|---|---|---|---|---|---|
| Whisper int8 | 4.52 | 4.14 | 4.86 | 6.52 | 40/40 | 0.485 | 0.696 | 약 5초 | 4.3~6.3GB |
| Whisper int8 + VAD | 3.98 | 2.41 | 4.86 | 6.52 | 40/40 | 0.494 | 0.143 | 약 4초 | 4.4GB |
| Whisper fp32 | 4.70 | 2.93 | 4.86 | 6.52 | 40/40 | 0.829 | 1.316 | 약 8초 | 13GB |
| Whisper int8 언어지정 | 4.52 | 4.14 | 4.86 | 6.52 | - | 0.319 | - | 약 5초 | 4.3GB |
| Qwen bf16 | 3.44 | 4.48 | 4.17 | 6.52 | 40/40 | 0.206 | 0.071 | 약 9초 | 5.4~6.3GB |
| Qwen fp32 | 3.44 | 4.31 | 4.17 | 6.52 | 40/40 | 0.360 | 0.125 | 약 18초 | 13GB |
| Qwen bf16 언어지정 | 3.44 | 4.31 | 3.47 | 6.52 | - | 0.197 | - | 약 9초 | 5.4GB |
- 본문의 "Whisper"는 int8, "Qwen3-ASR"는 bf16 설정 기준임.
- Qwen bf16은 fp32보다 1.75배 빠르고 정확도는 거의 동일. AMX 없는 CPU에서는 이 차이가 줄어들 수 있음.
- Whisper int8은 fp32보다 1.7배 빠름. 정확도는 언어별로 엇갈림.
- 로드 시간은 모델을 이미 받아 둔 상태 기준임.
도입 시 주의점:
- qwen-asr는 Python 3.9 이상이 필요하고 transformers를 4.57.6으로 고정함. 오래된 Python 환경이면 별도 컨테이너 분리 권장.
- qwen-asr는 gradio, flask 같은 무거운 의존성을 같이 설치함.
- faster-whisper 1.2.1 + PyAV 19 조합은 파일 경로 입력에서 metadata_errors 인자 오류가 남. 오디오를 numpy 배열로 넘기면 회피 가능.
CPU만으로도 이 정도 규모 처리는 충분함. GPU 없는 환경에서 STT 검토 중이라면 참고가 되길 :)