회사에서 수집한 음성 파일을 받아 적어 검색 가능하게 만드는 중. 이 작업이 바로 음성 인식(STT, Speech-to-Text)임.

지금까지는 클라우드 서비스에 음성을 보내 받아 적게 했지만, 권한 설정이 까다롭고 쓸 때마다 비용도 발생. 그래서 공개된 AI 모델을 서버에서 직접 돌리는 방법을 검토했음.

조건은 다음과 같음.

  • 하루 처리 대상 음성 10~20개, 하나당 80초 이내.
  • 서버에 AI 계산용 그래픽카드(GPU) 없음. 일반 CPU로만 처리 필요.
  • 다루는 언어는 한국어·일본어·러시아어·영어 4개.

두 후보

구분 Whisper large-v3 Qwen3-ASR-1.7B
만든 곳 OpenAI 알리바바 Qwen 팀
공개 시점 2023년 2026년 1월
지원 언어 99개 30개 (+ 중국어 방언 22개)
특징 가장 널리 쓰이는 검증된 모델 최신 모델. 제작사는 Whisper보다 낫다고 발표

둘 다 무료로 쓸 수 있고, 어떤 언어인지 스스로 알아챔. 문제는 제작사 발표가 전부 GPU 기준이라는 점. CPU에서는 어떤지 알 수 없으니 직접 시험함.

Cohere Transcribe와 SenseVoice도 검토했지만 둘 다 러시아어 미지원이라 제외.

먼저 알아둘 용어

  • 오류율: 받아 적은 결과가 정답과 얼마나 다른지 나타내는 수치. 낮을수록 좋음. 한국어·일본어는 글자 기준(CER, 4.5면 100글자 중 4.5글자가 틀렸다는 뜻), 러시아어·영어는 단어 기준(WER) 사용.
  • 처리 시간: 이 글에서는 "1분짜리 음성을 처리하는 데 걸린 시간"으로 표기. 짧을수록 좋음.
  • VAD(음성 구간 검출): 음성 파일에서 사람이 말하는 부분만 골라내는 전처리 기능. 침묵·잡음 구간을 잘라내고 말소리만 모델에 넘겨서, 환각 기회도 줄고 처리 분량도 감소해 빨라짐. Whisper에서는 옵션이라 켠 것과 끈 것을 둘 다 측정함. Qwen은 이 옵션 없이 그대로 사용.
  • 환각(hallucination): AI가 없는 내용을 지어내는 현상. 음성 인식에서는 아무 말도 없는 구간에 그럴듯한 문장을 적어 넣는 식으로 나타남.
  • 계산 정밀도(int8 · bf16 · fp32): AI가 숫자를 얼마나 촘촘하게 계산하는지 나타냄. fp32가 가장 정밀하고, bf16·int8은 정밀도를 조금 낮춘 대신 빠르고 메모리를 덜 사용. 사진 해상도를 낮추면 파일이 가벼워지는 것과 비슷한 개념. 실제로는 정확도 차이가 거의 없는 경우가 많음.

비교 방법

  • 시험지 1: FLEURS(공개 데이터셋). Google이 공개한 음성 시험지로, 발화 녹음과 정답 문장이 함께 있어 오류율을 정확히 계산 가능. 4개 언어 각각 10개, 모두 40개 사용.
  • 시험지 2: 실제 수집 음성. 실제로 처리해야 하는 음성 10개(6개 나라, 4~76초). 정답이 없어 오류율 계산 불가 — 속도와 이상한 동작 여부만 확인.

공정 조건: 두 모델 모두 같은 서버에서 CPU 16개, 메모리 32GB로 제한해서 구동. 모델 로드 시간은 처리 시간에서 제외, 모델당 첫 1건은 예열로 쓰고 측정에서 제외함.

결과 1: 정확도

  한국어 (100글자당) 일본어 (100글자당) 러시아어 (100단어당) 영어 (100단어당)
Whisper 4.5 4.1 4.9 6.5
Whisper + VAD 4.0 2.4 4.9 6.5
Qwen3-ASR 3.4 4.5 4.2 6.5
  • 한국어: Qwen이 가장 정확. Whisper보다 틀린 글자가 약 24% 적음.
  • 러시아어: Qwen이 더 정확함.
  • 일본어: Whisper가 더 정확. VAD를 켜면 개선(4.14 → 2.41).
  • 영어: 세 설정 모두 동일. 정답 "twentieth"를 "20th"로 적는 식의 표기 차이라 사실상 무승부.
  • 언어 감지: 세 경우 모두 40개 중 40개 정답.

언어마다 10문장씩만 시험했기 때문에 1점 안팎의 차이는 우연일 수 있음. 다만 한국어와 러시아어는 어떤 설정으로 바꿔도 Qwen이 앞섰고, 일본어는 어떤 설정에서도 Whisper가 앞선 것은 동일함.

결과 2: 속도

  공개 시험지 실제 음성 메모리 사용량
Whisper 약 29초 약 42초 4~6GB
Whisper + VAD 약 30초 약 9초 4GB
Qwen3-ASR 약 12초 약 4초 5~6GB
  • 깨끗한 음성에서는 Qwen이 Whisper보다 2.4배 빠름.
  • 실제 음성에서는 차이가 최대 10배까지 벌어짐. 이유는 결과 3에서 설명.
  • VAD를 켜면 Whisper도 실제 음성에서 크게 빨라짐(말소리 없는 구간을 건너뜀). 그래도 Qwen이 2배 이상 빠름.
  • 하루 10~20개 처리량에는 둘 다 충분한 속도.

결과 3: 조용한 파일에서 생긴 일

실제 음성 몇 개는 말소리가 거의 없거나 잡음만 들어 있었음. 여기서 두 모델 차이가 가장 크게 드러남.

VAD 없는 Whisper는 없는 말을 지어냄.

  • 의미 없는 짧은 문구를 계속 반복해서 적음.
  • 유튜브 영상 끝에 나오는 "시청해 주셔서 감사합니다" 같은 인사말을 적음. Whisper에서 널리 알려진 환각임.
  • 언어도 엉뚱하게 판단(노르웨이어, 페르시아어, 말레이어 등).
  • 처리 시간이 오히려 음성 길이보다 길었음. 44초 파일에 58초, 72초 파일에 85초. Qwen은 같은 두 파일을 각각 1.5초, 3.2초에 처리.

지어낸 문장이 검색 결과에 섞인다는 게 제일 큰 문제였고, 이것이 VAD 필수라는 결론의 근거임.

Qwen은 소리가 없는 두 파일에서 아무것도 적지 않음. 올바른 동작임.

VAD를 켠 Whisper도 대부분 아무것도 적지 않았고 인사말 환각 1건만 남음. 다른 두 파일에서는 Qwen이 짧은 문구를 적었고 VAD 켠 Whisper는 아무것도 적지 않았는데, 정답이 없어서 어느 쪽이 맞는지는 판단 불가였음.

Qwen에도 문제가 하나 있었음. 한국어로 제대로 받아 적어 놓고 언어 이름만 "중국어"로 붙인 경우가 1건. 모델이 알려주는 언어 이름은 참고용으로만 사용하기로 함.

결론: Qwen3-ASR 채택

비교 항목 더 나은 쪽
한국어·러시아어 정확도 Qwen3-ASR
일본어 정확도 Whisper (VAD 켠 경우)
영어 정확도 무승부
속도 Qwen3-ASR (2배 이상)
말소리 없는 파일 처리 Qwen3-ASR
메모리 비슷함
사용 사례와 자료의 양 Whisper

우리에게 가장 중요한 한국어 정확도와 속도에서 Qwen이 앞섬. 조용한 파일에서 엉뚱한 글을 만들지 않는다는 점도 컸음. 수집 음성 중에는 잡음만 있는 파일이 꽤 섞여 있기 때문임.

Whisper를 쓴다면 VAD는 필수로 켤 것. 켜지 않으면 지어낸 문장이 검색 결과에 섞이고 처리 시간도 늘어남.

이번 비교의 한계

  • 언어마다 10문장만 시험. 어느 쪽이 나은지 방향은 믿을 만하지만 소수점 차이에는 의미를 두지 않는 것이 좋음.
  • 공개 시험지는 조용한 곳에서 또박또박 읽은 음성임. 통화 녹음이나 시끄러운 환경에서는 결과가 다를 수 있음.
  • 실제 음성은 10개뿐이고 정답이 없음. 속도와 이상 동작만 비교함.
  • 측정 동안 같은 서버에서 다른 서비스도 함께 구동. 시간 측정값은 10% 정도 오차 가능.

부록: 개발자용 상세

  • CPU: Intel Xeon Silver 4510 (AMX, AVX-512 BF16 지원). 컨테이너에 CPU 16코어, 메모리 32GB. GPU 없음.
  • Python 3.12, torch 2.15 (CPU), faster-whisper 1.2.1, ctranslate2 4.8.5, qwen-asr 0.0.6, transformers 4.57.6
  • 모든 설정에서 스레드 16개. Whisper는 beam_size=5, Qwen은 기본 디코딩, 배치 크기 1. 라이브러리 기본 디코딩이라 탐색 폭은 동일하지 않음.
설정 ko CER ja CER ru WER en WER 언어 감지 RTF (FLEURS) RTF (실제) 로드 최대 메모리
Whisper int8 4.52 4.14 4.86 6.52 40/40 0.485 0.696 약 5초 4.3~6.3GB
Whisper int8 + VAD 3.98 2.41 4.86 6.52 40/40 0.494 0.143 약 4초 4.4GB
Whisper fp32 4.70 2.93 4.86 6.52 40/40 0.829 1.316 약 8초 13GB
Whisper int8 언어지정 4.52 4.14 4.86 6.52 - 0.319 - 약 5초 4.3GB
Qwen bf16 3.44 4.48 4.17 6.52 40/40 0.206 0.071 약 9초 5.4~6.3GB
Qwen fp32 3.44 4.31 4.17 6.52 40/40 0.360 0.125 약 18초 13GB
Qwen bf16 언어지정 3.44 4.31 3.47 6.52 - 0.197 - 약 9초 5.4GB
  • 본문의 "Whisper"는 int8, "Qwen3-ASR"는 bf16 설정 기준임.
  • Qwen bf16은 fp32보다 1.75배 빠르고 정확도는 거의 동일. AMX 없는 CPU에서는 이 차이가 줄어들 수 있음.
  • Whisper int8은 fp32보다 1.7배 빠름. 정확도는 언어별로 엇갈림.
  • 로드 시간은 모델을 이미 받아 둔 상태 기준임.

도입 시 주의점:

  • qwen-asr는 Python 3.9 이상이 필요하고 transformers를 4.57.6으로 고정함. 오래된 Python 환경이면 별도 컨테이너 분리 권장.
  • qwen-asr는 gradio, flask 같은 무거운 의존성을 같이 설치함.
  • faster-whisper 1.2.1 + PyAV 19 조합은 파일 경로 입력에서 metadata_errors 인자 오류가 남. 오디오를 numpy 배열로 넘기면 회피 가능.

CPU만으로도 이 정도 규모 처리는 충분함. GPU 없는 환경에서 STT 검토 중이라면 참고가 되길 :)

왜 Arch Linux?

Arch Linux는 다음과 같은 이유로 많은 사용자가 선택하는 배포판임

  • 심플함: 최소한의 기본 시스템만 제공하여 사용자가 필요한 모든 것을 직접 설정할 수 있음
  • 최신 소프트웨어: 롤링 릴리스 방식으로 항상 최신 버전을 유지함
  • 커뮤니티 지원: 풍부한 Arch Wiki 문서와 활발한 커뮤니티
  • 이러한 이유로 스팀덱OS도 arch linux를 기반으로 하고 있음

설치준비

  1. 이미지 파일 준비

    1. Arch Linux - Downloads
      1. 위 링크에서 본인이 원하는 적당한 방법으로 이미지를 다운로드 한다.
  2. 부팅 USB 제작

    1. 다운로드 받은 이미지를 통해 부팅 USB를 만들어 주면된다. 각 운영체제 별로 아래의 프로그램을 이용하여 만들 수 있다.
      1. MAC / Linux : balenaEtcher - Flash OS images to SD cards & USB drives
      2. Windows : Rufus - The Official Website (Download, New Releases) (dd모드로 쓰기)

설치

  1. 부팅 USB로 부팅

    1. 과정 생략
  2. 인터넷 연결확인

    1. 유선으로 연결이 되어 있기 때문에 아래 명령어를 통해 인터넷 연결이 잘 되었는지 확인한다.

      >> ping archlinux.org
  3. 디스크 파티션 나누기

    1. 아래 명령어를 이용하여 디스크를 확인한다. 일반적인 경우에는 디스크를 사용하면 /dev/sda nvme를 사용하면 /dev/nvme0 이 나오기 마련이다.

      >> fdisk -l
    2. GPR(UEFI) 구조를 사용하기 위해 gdisk를 이용해서 파티션을 나눠준다. 각 파티션은 Installation guide (한국어) - ArchWiki을 참고하면 아래와 같이 나눠야 한다.

      1. GPT를 사용하는 UEFI

        마운트 위치 파티션 파티션 종류 권장 크기
        /mnt/boot /dev/_efi_system_partition_ EFI system partition At least 300 MiB
        [SWAP] /dev/_swap_partition_ Linux swap 512 MiB 이상
        /mnt /dev/_root_partition_ Linux x86-64 root (/) 장치의 남은 공간

        위 표를 참고하여 아래와 같은 순서로 파티션을 나눠준다. SWAP은 잠시 후 설정할 예정이다.

         >> gdisk /dev/nvme0
        
         # 기존 파티션을 제거
         Command (? for help): d
        
         # /mnt/boot 파티션을 생성 및 추가
         Command (? for help): n
         default value is 1 so hit enter
         value of first sector -> enter
         value of second sector -> +300M
         partition system code -> ef00
        
         # 주 파티션을 생성
         Command (? for help): n
         default value is 2 so hit enter
         value of first sector -> enter
         value of second sector -> enter
         partiton system code (default is linux file system) -> enter
        
         # 저장
         Command (? for help): w
  1. 파티션 포맷

    1. 생성한 파티션을 포맷

      # 부팅 파티션은 fat32로 포맷
      >> mkfs.fat -F32 /dev/nvme0n1p1
      
      # Linux File System의 경우 ext4로 포맷
      >> mkfs.ext4 /dev/nvme0n1p2
  2. 파일 시스템 마운트

    1. 포맷한 파일 시스템을 마운트

      # Linux File System 마운트
      >> mount /dev/nvme0n1p2 /mnt
      
      # efi를 위한 dir생성 후 마운트
      >> mkdir -p /mnt/boot/efi
      >> mount /dev/nvme0n1p1 /mnt/boot/efi
  3. 미러서버 설정하기 - reflector를 이용하여 repository mirror 서버를 지정

    1. 한국 미러서버중 속도가 빠르고 12시간 이내에 싱크된 서버를 지정

      >> reflector -c "South Korea" --sort -a 12 rate --save /etc/pacman.d/mirrorlist
    2. 최근에 싱크된 미러 5개를 속도순으로 지정

      >> reflector --verbose --latest 5 --sort rate --save /etc/pacman.d/mirrorlist
  4. 패키지 매니저 업데이트

    >> pacman -Syy
  5. 필수 패키지 설치

    1. pacstrap(8) — Arch manual pages을 이용하여 필수 패키지를 설치한다.

      >> pacstrap /mnt base linux linux-firmware grub efibootmgr
  6. fstab 설정

    1. 다음 명령어를 이용하여 fstab파일을 생성

      >> genfstab -U /mnt >> /mnt/etc/fstab
  7. chroot 설정

    1. 새로운 시스템으로 change root

      >> arch-chroot /mnt
  8. swap 설정 (선택사항)

    1. 필자는 swap을 4G로 설정, 사용자에 맞게 용량을 변경하거나 생략해도 된다.

      # swap 파일 생성
      >> fallocate -l 4G /swapfile
      
      # swap 권한 설정
      >> chmod 600 /swapfile
      
      # swap 포맷
      >> mkswap /swapfile
      
      # swap활성화
      >> swapon /swapfile
      
      # 부팅시 자동 활성화 설정
      >> vim /etc/fstab
      /swapfile none swap defaults 0 0
      
      # swap 설정 확인
      >> free -h
  9. 지역 및 언어 설정

    >> vim /etc/locale.gen
    # en_US.UTF-8 을 찾아서 주석을 제거
    
    >> locale-gen
    
    # locale.conf에 언어 추가
    >> vim /etc/locale.conf
    LANG=en_US.UTF-8
  10. root 계정 비밀번호 설정

    1. root계정의 비밀번호를 설정한다. 까먹지 말자

      passwd
  11. 필요 패키지 설치

    1. 필요한 패키지를 설치해준다.

      pacman -S openssh git vim sudo
  12. 패키지 실행 및 설정

    1. ssh의 경우 자동실행 되도록 설정해준다.

      >> systemctl enable sshd
  13. 네트워크 설정

    1. hostname 파일에 원하는 호스트명을 작성해준다.

       >> vim /etc/hostname
       archlinux-hn
    2. hosts파일에 설정한 이름에 맞춰 내용을 작성한다.

       >> vim /etc/hosts
      
       127.0.0.1 localhost
       ::1 localhost
       127.0.1.1 archlinux.localdomain archlinux-hn
  14. 계정 생성

    >> useradd -mG wheel user
  15. 패스워드 설정

    >> passwd user
  16. sudo 사용 설정

    >> useradd -aG wheel user
    >> visudo

    # %wheel ALL=(ALL:ALL) ALL라고 작성된 부분을 찾아서 주석(#)을 제거

  17. 부트로더 설치

    1. grub 설치

       >> grub-install /dev/nvme0n1p1
       >> grub-mkconfig -o /boot/grub/grub.cfg
       >> mkinitcpio -p linux
       >> exit
  18. 재부팅

    1. umount를 진행하고 USB를 분리후 재부팅한다.

       >> umount /mnt/boot
       >> umount /mnt
       >> reboot

UV: 빠르고 가벼운 Python 패키지 관리자

Python 패키지 관리를 할 때 가장 많이 사용하는 도구는 pip이다. 하지만 최근 uv라는 새로운 패키지 관리자를 접하고 사용중인데 속도도 매우 빠르고 많은 사람들이 사용했으면 좋겠다 라는 생각이 들어 이 글을 작성하게 됐다. 이번 글에서는 pip와 uv의 차이점과 장단점을 비교하고, uv의 기본적인 사용법을 소개한다.

1. pip와 uv의 차이점

1.1 pip란?

pip(Pip Installs Packages)는 Python의 공식 패키지 관리자로, PyPI(Python Package Index)에서 패키지를 설치하고 관리하는 역할을 한다. Python을 설치하면 기본적으로 포함되어 있으며, requirements.txt와 같은 의존성 관리 기능을 제공합니다.

1.2 uv란?

uv는 Pip과 Poetry를 대체할 수 있는 빠르고 가벼운 Python 패키지 관리자입니다. Rust로 작성되어 높은 성능을 제공하며, pip, pip-tools, venv, Poetry 등의 기능을 하나로 통합한 것이 특징입니다.

  • pip: Python 패키지를 설치하고 관리하는 기본 도구.
  • pip-tools: pip의 의존성 해결 기능을 강화해주는 도구로, requirements.txt 파일을 보다 안정적으로 생성할 수 있음.
  • venv: Python의 가상 환경을 생성 및 관리하는 기본 도구.
  • Poetry: 프로젝트 및 패키지 관리를 강화한 도구로, 의존성 관리와 빌드 기능을 제공.

2. pip와 uv의 장단점

2.1 pip의 장점

  • Python 기본 패키지 관리자로, 널리 사용되고 있음
  • 광범위한 문서와 지원 커뮤니티 보유
  • pip-tools와 조합하여 보다 정교한 의존성 관리 가능

2.2 pip의 단점

  • 속도가 느릴 수 있음
  • 의존성 해결 능력이 제한적 (복잡한 프로젝트에서 문제 발생 가능)
  • 가상 환경을 별도로 생성해야 함 (venv 필요)

2.3 uv의 장점

  • Rust 기반으로 매우 빠른 성능 제공
  • 가상 환경을 별도 설정 없이 자동 관리
  • pip-tools 없이도 강력한 의존성 해결 기능 지원
  • pip, venv, pip-tools 등을 통합한 일관된 환경 제공

2.4 uv의 단점

  • 아직 상대적으로 새로운 도구로, 일부 사용자가 익숙하지 않을 수 있음
  • 일부 패키지에서 예상치 못한 호환성 문제가 있을 수 있음
비교 항목 pip uv
언어 Python Rust
성능 일반적 매우 빠름
가상 환경 지원 별도(venv) 자체 지원
의존성 해결 제한적 강력한 해결 기능
멀티 플랫폼 지원 지원
사용 용이성 익숙함 간단하고 빠름

3. uv 사용법

uv는 설치 후 다양한 명령어를 통해 활용할 수 있습니다.

3.1 uv 설치

curl -LsSf https://astral.sh/uv/install.sh | sh

3.2 프로젝트 초기화

uv init [프로젝트명]

이 명령어는 프로젝트 디렉토리를 생성하고, pyproject.toml 파일을 포함한 초기 설정 파일들을 생성합니다.

3.3 패키지 추가

uv add 패키지명
  • 특정 패키지를 프로젝트에 추가합니다.
  • 예시:
uv add requests
  • 개발용 의존성 추가:
uv add pytest --dev
  • 특정 버전 설치:
uv add requests==2.25.1
  • 추가 옵션 사용:
uv add 패키지명 --extra 옵션명

3.4 패키지 제거

uv remove 패키지명
  • 프로젝트에서 특정 패키지를 제거합니다.
  • 예시:
uv remove requests

3.5 의존성 동기화

uv sync
  • pyproject.toml과 uv.lock 파일을 기반으로 의존성을 자동으로 설치 및 동기화합니다.
  • 개발용 의존성을 제외하고 동기화하려면:
uv sync --no-dev

3.6 가상 환경 생성 및 관리

  • 가상 환경 생성:
uv venv [가상환경경로]
  • 특정 경로에 가상 환경을 생성합니다.
  • 예시:
uv venv .venv
  • 특정 Python 버전 사용하여 가상 환경 생성:
uv venv --python 3.9.7
  • 가상 환경 활성화:
source .venv/bin/activate
  • Windows에서는:
.venv\Scripts\activate
  • 가상 환경 비활성화:
deactivate

4. 자주 묻는 질문 (FAQ)

Q1. 기존 pip 프로젝트에서 uv를 사용할 수 있나요?

네, 가능합니다. 기존 pip 프로젝트에서 uv로 전환하려면 다음 명령어를 실행하면 됩니다:

uv sync

이 명령어는 기존 requirements.txt 또는 pyproject.toml을 기반으로 의존성을 자동으로 설정합니다.

Q2. uv와 Poetry의 차이점은 무엇인가요?

  • uv는 pip, venv, pip-tools 등을 대체하는 통합형 패키지 관리자입니다.
  • Poetry는 프로젝트 관리 기능이 더 강력하며, 패키지 퍼블리싱과 같은 기능도 포함되어 있습니다.
  • 속도와 가벼움을 원하면 uv, 프로젝트 전체 관리를 원하면 Poetry를 선택하는 것이 좋습니다.

Q3. uv를 사용할 때 발생할 수 있는 문제와 해결 방법은?

  • 문제: 일부 패키지가 uv와 호환되지 않을 수 있음.
    • 해결: uv pip install을 사용하여 전통적인 pip 방식으로 설치할 수 있습니다.
uv pip install 패키지명
  • 문제: uv sync 시 패키지 충돌이 발생할 수 있음.
    • 해결: uv sync --force 명령어를 사용하여 강제로 동기화할 수 있습니다.

+ Recent posts