Mac에서 OpenAI Whisper를 가장 쉽게 쓰는 방법(코딩 없이)

Q: Mac에서 Whisper를 실행하려면 Python을 알아야 하나요?

공식 openai-whisper 패키지를 쓰려면 그렇습니다 — Python을 설치하고, 가상환경을 관리하고, 터미널에서 명령어를 실행해야 합니다. 코드를 만지고 싶지 않다면, Subtitle Studio 같은 앱이 같은 계열의 모델을 드래그 앤 드롭 인터페이스로 제공하며 코딩이 전혀 필요 없습니다.

Q: openai-whisper, whisper.cpp, mlx-whisper는 어떻게 다른가요?

openai-whisper는 OpenAI의 원본 Python 패키지로, pip로 가장 쉽게 설치할 수 있지만 PyTorch의 MPS 백엔드를 거치기 때문에 Apple Silicon에서는 상대적으로 느립니다. whisper.cpp는 Metal을 직접 사용하는 C++ 재구현판으로 눈에 띄게 빠르지만, 저장소를 클론해서 직접 컴파일해야 합니다. mlx-whisper는 Apple 자체 MLX 프레임워크를 사용하며 M 시리즈 칩에서는 종종 가장 빠른 선택지가 되지만, 마찬가지로 소스에서 직접 설치해야 합니다. 이 셋 모두 오디오 전처리, 자막 편집, 번역 기능을 포함하지 않습니다 — 이들은 자막 도구가 아니라 트랜스크립션 엔진일 뿐입니다.

결론부터 말하면: OpenAI의 Whisper 모델 자체는 앱이 아닙니다. 터미널에서 설치하고 실행하는 Python 라이브러리라서, Homebrew와 적절한 Python 버전, 가상환경, FFmpeg를 갖추고도 첫 번째 결과물을 받기 전에 온갖 의존성 에러를 마주치기 일쑤입니다. 코드를 만지고 싶지 않다면, 같은 수준의 온디바이스 프라이버시를 가장 빠르게 누리는 방법은 Whisper를 이미 내장한 Mac 앱을 쓰는 것입니다. Subtitle Studio처럼 설치 과정을 통째로 건너뛰면서, 원본 Whisper에는 없는 전처리·편집 도구까지 함께 얻을 수 있습니다.

"Mac에서 Whisper 사용법"을 검색해서 들어간 글이, 정작 오디오 파일 이야기가 나오기도 전에 여섯 단계를 늘어놓고 있었다면 — 그건 착각이 아닙니다. 왜 이런 일이 벌어지는지, 사람들이 어디서 막히는지, 그리고 코딩 없이 갈 수 있는 대안까지 차례로 살펴보겠습니다.

OpenAI Whisper란 무엇인가(왜 앱이 아닌가)

Whisper는 OpenAI가 2022년 공개한 뒤 large-v3, turbo 등으로 계속 업데이트해 온 오픈소스 음성 인식 모델입니다. 90개 이상 언어에서 뛰어난 정확도를 보이고, 무료로 쓸 수 있으며, 오디오를 어디에도 업로드하지 않고 온전히 사용자의 기기 안에서 실행됩니다. 바로 이 점 때문에 많은 사람이 직접 돌려보고 싶어 합니다.

openai/whisper GitHub 저장소 — 스타 10만 6천 개를 받았지만 다운로드 버튼도, 설치 프로그램도, 열어볼 앱도 없는 소스코드 저장소일 뿐이다

이 페이지에 무엇이 없는지 눈여겨보세요. 다운로드 버튼도, 설치 프로그램도, 앱 아이콘도 없습니다. 여기서 얻는 건 Python 소스코드 폴더 하나뿐입니다. 10만 6천 명이 이 저장소에 별을 눌렀지만, 별을 누른다고 해서 Mac에 뭔가가 설치되는 건 아닙니다.

이 GitHub 저장소는 소비자용 제품이 아니라 연구용 코드베이스입니다. 공식 설치 안내는 이런 것에 익숙하다는 전제를 깔고 있습니다.

여러 Python 버전을 설치하고 관리하기
pip와 가상환경 다루기
뭔가 잘못됐을 때 Python 트레이스백 읽어내기
모델 본체와는 별도로 시스템 의존성(FFmpeg) 설치하기

머신러닝 연구자에게는 하나도 무리한 요구가 아닙니다. 하지만 오늘 밤 안에 유튜브 영상 자막이 필요한 사람에게는, 진입장벽이 상당히 높습니다.

"공식" 방법으로 Mac에서 Whisper 실행하기, 단계별 정리

공정하게 말하면, Whisper 팀이 작성한 README 자체는 잘 쓰여 있습니다. "아무것도 설치되지 않은 상태"에서 "화면에 텍스트가 뜨는 상태"까지 실제로 필요한 과정을 살펴보겠습니다.

1단계: Homebrew 설치하기

Apple 진영에서 비공식 패키지 관리자로 통하는 Homebrew가 없다면, 가장 먼저 이걸 설치해야 합니다.

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

2단계: 호환되는 Python 버전 설치하기

Whisper의 의존성 체인(numba, tiktoken, PyTorch)은 최신 Python 릴리스를 지원하지 않습니다. 이 글을 쓰는 시점 기준으로 Python 3.13에서는 설치 자체가 깨지므로, 3.10, 3.11, 3.12 중 하나가 필요합니다.

brew install python@3.11

3단계: 가상환경 만들기

Whisper의 의존성이 시스템의 다른 패키지와 충돌하지 않도록, 독립된 환경에서 설치하는 것이 권장 방식입니다.

python3.11 -m venv whisper-env
source whisper-env/bin/activate

4단계: FFmpeg 설치하기

Whisper는 오디오를 직접 디코딩하지 않고 FFmpeg를 호출해서 처리합니다. 이것도 따로 설치해야 하는 항목입니다.

brew install ffmpeg

5단계: Whisper 설치하기

pip install -U openai-whisper

6단계: 첫 번째 트랜스크립션 실행하기

whisper your-audio.mp3 --model turbo

여섯 단계, 서로 다른 세 개의 설치 프로그램, 그리고 미리 알고 있어야 했던 Python 버전 제약까지 — 여기까지 왔는데도 아직 단어 하나 텍스트로 옮기지 못했습니다. 게다가 이건 아무 문제도 안 생겼을 때 이야기입니다.

다들 여기서 막힌다(GitHub·StackOverflow 실제 사례)

"openai-whisper install" 관련 문제를 검색하면 매번 비슷한 몇 가지 실패 패턴이 반복해서 등장합니다. 아래는 실제 보고 내용을 그대로 인용한 것이지 요약하거나 바꿔 쓴 게 아닙니다.

"Whisper는 Python 3.13에서 쓸 수 없다"

Homebrew로 예전 버전을 지정하는 대신 python.org에서 최신 Python을 설치하면, 설치가 즉시 실패합니다.

Getting requirements to build wheel ... error
KeyError: '__version__'

관련 스레드의 한 답변은 이렇게 딱 잘라 말합니다. "현재 공개·지원되는 버전만으로 의존성 체인을 구성한다면, Whisper는 Python 3.13에서 쓸 수 없다." (출처: StackOverflow) 해결책은 Python 버전을 낮추고 가상환경을 처음부터 다시 만드는 것인데, Whisper가 버전에 이렇게 민감하다는 걸 미리 알지 못하면 짐작하기 쉽지 않습니다.

ffmpeg를 설치했는데도 "ffmpeg not found"

이건 Mac에서 가장 흔하게 나오는 Whisper 에러 중 하나이면서, 동시에 사람 헷갈리게 만드는 케이스이기도 합니다. 이미 해야 할 걸 다 한 것 같은데도 에러가 사라지지 않기 때문입니다.

FileNotFoundError: [Errno 2] No such file or directory: 'ffmpeg': 'ffmpeg'

이 사례의 작성자는 이미 brew install ffmpeg를 성공적으로 실행했고, 재설치도 했고, Python용 FFmpeg 래퍼까지 시도해 봤습니다. 실제 문제는 FFmpeg 실행 파일이 Python이 인식하는 PATH에 없었다는 것이었습니다. (출처: StackOverflow) PATH 문제를 진단하려면, 애초에 PATH가 뭔지부터 알고 있어야 합니다.

Mac에는 CUDA가 없다 — 그런데 대부분의 튜토리얼은 있다고 가정한다

Whisper 성능 관련 튜토리얼 대부분은 NVIDIA의 GPU 프레임워크인 CUDA를 이야기합니다. 하지만 Mac에는 NVIDIA GPU가 없습니다. Apple Silicon은 대신 MPS(Metal Performance Shaders)를 쓰는데, PyTorch의 MPS 지원에는 실제로 기록된 공백이 존재합니다.

NotImplementedError: The operator 'aten::isin.Tensor_Tensor_out' is not
currently implemented for the MPS device. ... you can set the environment
variable `PYTORCH_ENABLE_MPS_FALLBACK=1` to use the CPU as a fallback for
this op.

이는 Apple Silicon에서 Whisper와 유사한 계열의 PyTorch 모델을 돌릴 때 실제로 발생한 에러입니다. (출처: GitHub — huggingface/transformers #31408) 제안된 우회책은 해당 연산만 CPU로 넘기는 것인데, 결국 Mac을 쓴다는 이유만으로 생긴 버그를 고치기 위해 속도를 희생하는 셈입니다.

설치 중 Rust 컴파일러 에러

Whisper는 OpenAI의 토크나이저 tiktoken에 의존합니다. 사용 중인 플랫폼에 맞는 사전 빌드된 wheel이 없으면 pip는 소스코드에서 직접 빌드하려고 시도하는데, 이때 대부분 설치돼 있지 않은 Rust 툴체인이 필요합니다. 공식 README도 이 문제를 직접 언급합니다. No module named 'setuptools_rust' 에러가 나면 setuptools-rust를 별도로 설치해야 하고, 경우에 따라 Rust 개발 환경 전체를 설치해야 할 수도 있다는 것입니다. 음성을 텍스트로 옮기려는 것뿐인데, 컴파일러 툴체인까지 설치하게 되는 셈입니다.

"더 빠른" 대안들은 소스에서 직접 빌드해야 한다

PyTorch 기반의 기본 Whisper는 Mac에서 눈에 띄게 느려서, Apple Silicon의 진짜 속도를 끌어내려면 whisper.cpp나 mlx-whisper로 갈아타라는 조언이 흔합니다. 둘 다 확실히 더 빠르지만, 그 대신 Python 설치 과정이 또 다른 종류의 설치 과정으로 바뀔 뿐입니다.

git clone https://github.com/ggerganov/whisper.cpp
cd whisper.cpp
make
./models/download-ggml-model.sh large-v3
./main -m models/ggml-large-v3.bin -f your-audio.wav

git, C++ 컴파일러 툴체인, 그리고 모델 파일을 수동으로 내려받는 과정까지 — "코딩이 필요 없다"고 부르기는 어렵습니다. 게다가 컴파일을 제대로 마치고 나서도, 원인을 파악하기 정말 어려운 방식으로 문제가 생길 수 있습니다. 한 오래된 사용자는 M4 Mac mini에서 직접 컴파일한 whisper.cpp 바이너리로 여러 파일을 배치 처리했는데, M1에서는 "완벽하게 잘 작동"하던 것이 M4에서는 몇 시간 뒤 에러도, 크래시도 없이 그냥 "출력이 멈춰버렸다"고 전했습니다. 해결책은 한 시간마다 프로세스를 강제 종료하고 재시작하는 스크립트를 짜는 것이었습니다. ("Whisper는 계속 실행 중이고, 터미널에 에러도 없고, 크래시도 없다... 그냥 더 이상 아무 출력이 없을 뿐이다.") (출처: Ars Technica OpenForum)

이건 초보자의 실수가 아닙니다. 숙련된 사용자조차 스크립트와 크론 작업으로 우회할 수밖에 없었던 벽에 부딪힌 사례입니다.

"설치 과정이 지나치게 불친절하다"

Whisper 기반 도구에 대해 제기된 이 GitHub 이슈는, 비개발자가 겪는 경험을 한마디로 요약합니다. "설치 프로그램이 지나치게 불친절해서 대용량 파일 다운로드가 계속 중단되고, 결국 설치가 불완전하게 끝나면서 실행 파일이 빠지는 일이 생긴다... 프로그래밍 지식이 없는 사람에게 남은 선택지는 삭제뿐이다." (출처: GitHub — meizhong986/WhisperJAV #85) 이 스레드의 최종 해결책도 결국 Python 버전 불일치였고, 낯선 다른 사용자가 작성자와 함께 터미널 명령어를 하나하나 짚어가며 문제를 풀어줬습니다.

잘 돌아가더라도, 큰 모델은 메모리가 부족할 수 있다

large-v3 모델을 원활하게 돌리려면 VRAM(또는 통합 메모리)이 약 10GB 필요합니다. 기본형 8GB나 16GB MacBook에서는 이 여유가 빠듯해서 프로세스가 그대로 크래시할 수 있고, 그럴 경우 더 작고 정확도가 낮은 모델로 타협해야 합니다.

실행에 성공해도, Whisper 하나만으로는 자막이 되지 않는다

위의 모든 난관을 뚫고 whisper your-video.mp4 --model large-v3 명령이 마침내 성공했다고 해봅시다. 그래도 손에 쥐는 건 트랜스크립트이지 자막이 아닙니다. 영상 작업에서 이 둘은 완전히 다른 작업입니다.

전처리가 없다. Whisper는 원본 오디오를 있는 그대로 받습니다. 배경음악이나 방 안 울림, 시끄러운 인트로가 있어도 모델은 그걸 무시해야 한다는 걸 모르며, 확신이 없을 때 이를 인정하는 대신 무음이나 배경음악 구간에서 환각(같은 문구 반복, 없는 대사 지어내기)을 일으킨다는 사실이 잘 알려져 있습니다.
타이밍은 대략적이다. Whisper 내장 타임스탬프는 대략 1초 단위로 반올림됩니다. 트랜스크립트로는 괜찮지만, 누군가 말하는 바로 그 순간에 정확히 나타나야 하는 자막에는 부족합니다.
줄바꿈 로직이 없다. 원본 출력에는 지나치게 긴 문단이나 문장 중간에서 어색하게 끊기는 부분이 흔한데, .srt 파일을 텍스트 편집기로 열어 손으로 고치는 것 말고는 방법이 없습니다.
번역 기능이 없다. 두 번째 언어 트랙이 필요하다면, 그건 완전히 별개의 도구와 작업 흐름이 필요한 일입니다.
편집 인터페이스가 없다. 모든 게 명령줄에서 이루어집니다. 파형도, 드래그로 조정하는 기능도, 실행 취소 버튼도 없습니다.

다시 말해, 설치 문제를 해결했다고 해서 자막 문제가 저절로 풀리는 건 아닙니다. 결국 거친 트랜스크립트를 실제로 게시할 만한 결과물로 바꿔줄 두 번째 도구가 필요해집니다.

가장 쉬운 방법: Python을 아예 건너뛰는 Subtitle Studio

Subtitle Studio는 같은 계열의 Whisper 모델을 사용하지만, 네이티브 Mac 앱으로 동작합니다. 다운로드하고, 영상을 끌어다 놓으면 자막이 나옵니다. 터미널도, 관리해야 할 Python 버전도, 디버깅해야 할 pip install도 없습니다.

파형, 자막 목록, 음성에 맞춰 정렬된 영상 미리보기가 함께 있는 Subtitle Studio 편집기

터미널 없는 설치 외에도 다음을 함께 얻을 수 있습니다.

Apple Silicon에 맞춰 튜닝된 모델. 트랜스크립션 모델은 M 시리즈 칩과 Metal 가속에 맞춰 특화 최적화되어 있습니다. 지원하지 않는 MPS 연산마다 CPU로 되돌아가는 범용 PyTorch 빌드가 아닙니다.
트랜스크립션 이전의 전처리. 음성 활동 감지(VAD)와 노이즈 제거가 Whisper가 오디오를 받기 전에 먼저 정리해 주므로, 배경음악과 방 소음으로 인한 단어 누락과 환각 텍스트가 훨씬 줄어듭니다 — 이게 바로 원본 Whisper가 흔히 지적받는 실패 패턴입니다.
환각 필터링. 신뢰도 점수와 음성 활동 분석을 통해 모델이 무음이나 음악 구간에서 지어낸 유령 텍스트를 감지하고 제거한 뒤에야 자막 파일로 넘깁니다.
강제 정렬(forced alignment). 트랜스크립션이 끝나면 정렬 엔진이 텍스트를 단어 단위로 다시 파형에 매핑해, Whisper의 약 1초 단위 반올림 타임스탬프를 프레임 단위의 정밀한 타이밍으로 바꿔줍니다.
NLP 기반 세그멘테이션. 원본 트랜스크립트는 임의의 글자 수가 아니라 자연스러운 구 단위 경계에서 읽기 좋은 자막 줄로 나뉩니다.
내장 편집 기능. 자막 타이밍을 드래그로 재조정하거나, 너무 긴 줄을 나누거나, 조각난 줄을 합칠 수 있습니다. 텍스트 편집기로 내보낼 필요가 없습니다.

Subtitle Studio의 재정렬 도구 — 자막 블록을 오디오 파형에 맞추기 위해 드래그하는 모습

온디바이스 번역. 완성한 자막을 25개 언어로, 완전 오프라인 상태에서, API 키도 단어당 비용도 없이 번역할 수 있습니다. 로컬 모델이 어떻게 작동하는지는 오프라인 번역 심층 분석에서 자세히 다룹니다.

Subtitle Studio의 번역 패널 — 언어 선택기와 AI 제공자 옵션을 보여준다

오디오와 영상은 절대 Mac을 벗어나지 않습니다. 직접 Whisper를 돌릴 때와 같은 수준의 프라이버시 보장을, 설치의 번거로움 없이 얻는 셈입니다.

Subtitle Studio

한 번 구매로 끝. Mac에서 완전히 오프라인으로 작동합니다.

Whisper CLI vs Subtitle Studio — 나란히 비교

	OpenAI Whisper(CLI)	Subtitle Studio
설치	Homebrew, Python 버전 관리, 가상환경, FFmpeg, pip install	앱 다운로드 후 실행
코딩 필요 여부	필요 — 터미널 명령어, 가끔 의존성 디버깅도	불필요
Apple Silicon 가속	PyTorch MPS 지원 여부에 따라 다름(공백 존재)	내장, Metal 최적화 모델
오디오 전처리	없음 — 원본 오디오를 그대로 모델에 전달	트랜스크립션 전 VAD + 노이즈 제거
환각 처리	없음 — 모델의 원본 출력 그대로	자동 감지 및 필터링
타임스탬프 정확도	약 1초 단위	단어 단위 강제 정렬
자막 줄바꿈	없음 — 수동 정리 필요	자동 NLP 기반 세그멘테이션
편집 도구	내보낸 파일을 텍스트 편집기로	파형 기반 재정렬, 분할, 병합
번역	미포함	내장, 오프라인, 25개 언어
출력 형식	`.txt`, `.srt`, `.vtt`	`.srt`, `.fcpxml`
비용	무료(대신 당신의 시간)	1회 구매

결론

Whisper를 파이프라인에 스크립트로 엮어 넣고 싶거나, 수천 개 파일을 일괄 처리하고 싶거나, 모델 자체를 파인튜닝하고 싶은 개발자라면 공식 CLI가 맞는 선택입니다. 그 유연함이야말로 CLI가 설계된 이유이고, 설치 비용도 한 번만 치르면 되는 일회성 비용입니다.

터미널을 열지 않고도 바로 게시할 수 있는 정확한 영상 자막이 필요할 뿐이라면, 코딩 없는 경로가 더 빠르게 목적지에 데려다줍니다. 밑바탕 기술은 똑같으면서 환경 관리의 부담은 사라지고, 원본 Whisper가 애초에 포함하도록 설계되지 않았던 자막 전용 도구들까지 함께 얻게 됩니다.

Subtitle Studio

Python도, Homebrew도, 터미널도 필요 없습니다. 영상만 끌어다 놓으세요.

자주 묻는 질문

Mac에서 Whisper를 실행하려면 Python을 알아야 하나요?

공식 openai-whisper 패키지를 쓰려면 그렇습니다 — Python을 설치하고, 가상환경을 관리하고, 터미널에서 명령어를 실행해야 합니다. 코드를 만지고 싶지 않다면, Subtitle Studio 같은 앱이 같은 계열의 모델을 드래그 앤 드롭 인터페이스로 제공하며 코딩이 전혀 필요 없습니다.

왜 제 Mac에서는 Whisper 설치가 실패하나요?

가장 흔한 원인은 지원되지 않는 Python 버전을 사용하는 것(현재 3.13은 설치가 깨지므로 3.10~3.12를 써야 합니다), FFmpeg를 설치했는데도 시스템 PATH에 잡히지 않는 것, 그리고 tiktoken 의존성을 소스에서 빌드하는 데 필요한 Rust 컴파일러가 없는 것입니다. 이 각각은 서로 다른, 그리고 상당히 알아보기 힘든 에러 메시지를 만들어냅니다.

Whisper가 제 Mac의 GPU를 사용하나요?

Apple의 MPS(Metal Performance Shaders) 백엔드를 통해 PyTorch에서 사용할 수는 있지만, Whisper 연산에 대한 MPS 지원에는 기록된 공백들이 있습니다. 일부 연산자는 구현되어 있지 않아 조용히 더 느린 CPU 실행으로 넘어갑니다. whisper.cpp와 mlx-whisper는 일반적으로 원본 Python 패키지보다 Apple Silicon을 더 효율적으로 활용하지만, 둘 다 소스에서 직접 컴파일해야 합니다.

openai-whisper, whisper.cpp, mlx-whisper는 어떻게 다른가요?

openai-whisper는 OpenAI의 원본 Python 패키지로, pip로 가장 쉽게 설치할 수 있지만 PyTorch의 MPS 백엔드를 거치기 때문에 Apple Silicon에서는 상대적으로 느립니다. whisper.cpp는 Metal을 직접 사용하는 C++ 재구현판으로 눈에 띄게 빠르지만, 저장소를 클론해서 직접 컴파일해야 합니다. mlx-whisper는 Apple 자체 MLX 프레임워크를 사용하며 M 시리즈 칩에서는 종종 가장 빠른 선택지가 되지만, 마찬가지로 소스에서 직접 설치해야 합니다. 이 셋 모두 오디오 전처리, 자막 편집, 번역 기능을 포함하지 않습니다 — 이들은 자막 도구가 아니라 트랜스크립션 엔진일 뿐입니다.

코딩 없이 무료로 Mac에서 Whisper를 쓸 방법이 있나요?

Whisper 모델 자체는 무료이고 오픈소스지만, 아무 설정 없이 실행하려면 원본 Python 라이브러리가 아니라 패키징된 앱이 필요합니다 — 누군가는 설치, 모델 관리, 인터페이스를 대신 챙겨줘야 하니까요. Subtitle Studio는 정확히 이런 목적을 위해 만든 Mac 앱으로, 터미널도 관리해야 할 의존성도 없고, 구독 대신 한 번의 구매로 끝납니다.

Subtitle Studio는 명령줄과 같은 Whisper 모델을 사용하나요?

Subtitle Studio는 영상 크리에이터가 실제로 다루는 종류의 복잡한 오디오 — 음악 위에 얹힌 대사, 방 소음, 다국어 발화 — 를 위해 최적화·파인튜닝된 Whisper 모델을, Apple Silicon 가속과 함께 사용합니다. 이는 pip install openai-whisper로 얻는 단독 모델이 아니라, 전처리·환각 필터링·강제 정렬·NLP 세그멘테이션까지 포함한 하나의 완전한 파이프라인으로 감싸져 있습니다. 이 파이프라인이 실제 결과물에 어떤 영향을 미치는지는 MacWhisper vs Subtitle Studio 비교 글에서 더 자세히 다룹니다.