PyTorch는 단순히 모델만 만드는 도구가 아니다.
모델을 학습시키고, 데이터를 불러오고, 배포하고, 사전학습 모델을 불러오는 등
딥러닝 프로젝트 전체를 구성하는 큰 생태계를 가지고 있다.
이번 편에서는 PyTorch 주변에서 자주 쓰이는 도구와 라이브러리를 정리해보려 한다.
입문자가 전체 그림을 잡는 데 도움이 될 것이다.
1. PyTorch 본체: torch
가장 기본이 되는 라이브러리다.
텐서 연산, 모델 정의, 자동 미분 기능이 모두 torch 안에 들어 있다.
딥러닝의 대부분은 이 torch 위에서 이뤄진다.
2. TorchVision, TorchAudio, TorchText
PyTorch 생태계는 분야별 데이터 처리를 위한 패키지를 제공한다.
TorchVision
이미지 분야를 위한 라이브러리다.
- 이미지 전처리
- 데이터셋 제공 (CIFAR, ImageNet 등)
- CNN 기반 모델들 제공
TorchAudio
음성 분야용 라이브러리다.
- STFT 같은 신호 처리 기능
- 음성 파일 로딩
- 음성 데이터 증강
TorchText
NLP용 라이브러리로, 텍스트 토크나이징과 데이터셋 제공 기능을 갖고 있다.
지금은 HuggingFace가 거의 대체하고 있지만, 기본 기능은 여기에 있다.
3. HuggingFace Transformers
LLM과 NLP 연구 환경을 사실상 바꿔놓은 라이브러리다.
PyTorch 생태계를 크게 성장시킨 이유 중 하나이기도 하다.
HuggingFace에서 제공하는 것:
- BERT, GPT, LLaMA 등 수많은 모델 구현
- Tokenizer
- Fine-tuning 도구
- 사전학습 모델 다운로드 시스템
Transformer 기반 모델을 쓰려면 사실상 필수 도구다.
4. Lightning
PyTorch Lightning은 “코드를 깔끔하게 관리하는 방법”을 제공한다.
학습 루프나 분산 학습 같은 반복 코드를 추상화해준다.
예를 들어
- 모델 저장
- 로깅
- GPU 여러 개 활용
- 실험 반복 관리
같은 기능을 쉽게 해준다.
초보자에게는 필수는 아니지만, 실전 프로젝트 규모가 커질수록 크게 도움이 된다.
5. TorchServe
PyTorch 모델을 실제 서비스로 배포하려면 TorchServe가 도움이 된다.
역할은 다음과 같다.
- 모델 파일 로딩
- API 형태로 모델 서빙
- 요청 처리
- 배포 관리
딥러닝 모델을 프로덕션 환경에 내보낼 때 많이 활용한다.
6. ONNX Runtime
PyTorch 모델을 다른 환경에서 실행하고 싶을 때 ONNX가 등장한다.
예:
- 모바일
- 브라우저
- 경량화된 서버
- GPU가 적은 디바이스
PyTorch → ONNX → 기타 플랫폼
이런 흐름으로 변환하는 방식이다.
LLM도 최근에는 ONNX 기반 최적화를 자주 활용한다.
7. PyTorch와 함께 자주 쓰이는 도구들
딥러닝 프로젝트 전체를 운영하려면 여러 라이브러리가 함께 따라온다.
NumPy
수치 계산의 기본.
Matplotlib / Seaborn
학습 그래프나 시각화를 위한 기본 도구.
tqdm
학습 상태를 간단히 출력하는 진행률 창.
wandb / tensorboard
학습 기록을 시각화하고 관리하는 도구.
특히 wandb는 요즘 딥러닝 실험에서 거의 필수 수준이다.
8. PyTorch 생태계의 장점
PyTorch 생태계가 강한 이유는 다음과 같다.
- 연구자들이 개발한 모델이 바로 PyTorch 코드로 공개됨
- HuggingFace 기반 LLM 개발이 PyTorch 중심
- 학습부터 배포까지 이어지는 구조가 비교적 단순함
- 자유도 높은 구조
이 생태계 덕분에 연구와 실전 개발이 빠르게 연결된다는 점이 큰 장점이다.
9. 앞으로 배우게 될 방향
이 시리즈의 마지막 편에서는
PyTorch를 기반으로 어떻게 딥러닝을 학습해 나갈지에 대한 로드맵을 정리할 예정이다.
- 기초 실습
- 모델 구조 이해
- Transformer 확장
- LLM Fine-tuning
- 실제 배포까지
이 흐름을 하나의 여정처럼 묶어서 보여줄 것이다.