본 가이드는 WSL 환경에서 Docker를 활용해 vLLM를 구축하기 위한 전체 과정을 담고 있습니다. 순서대로 명령어를 실행해 주세요.

Component Version

• vLLM: v0.17.1 • Docker: 29.3.0 • NVIDA Container Toolkit: 1.19.0

1. Docker 설치

1.1 충돌 가능한 기존 패키지 제거

가장 먼저 시스템에 설치되어 있을 수 있는 구버전 Docker 관련 패키지들을 깔끔하게 삭제합니다.

sudo apt remove $(dpkg --get-selections docker.io docker-compose docker-compose-v2 docker-doc podman-docker containerd runc | cut -f1)

1.2 Docker 공식 저장소(Repository) 추가

Docker를 안정적으로 설치하기 위해 공식 GPG 키와 저장소를 추가합니다.

# Add Docker's official GPG key:
sudo apt update
sudo apt install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL <https://download.docker.com/linux/ubuntu/gpg> -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources:
sudo tee /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: <https://download.docker.com/linux/ubuntu>
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Signed-By: /etc/apt/keyrings/docker.asc
EOF

sudo apt update

1.3 Docker 엔진 설치

최신 버전의 Docker와 관련 플러그인들을 설치합니다.

sudo apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

2. NVIDIA Container Toolkit 설치