본 가이드는 WSL 환경에서 ktransformers를 설치하고 모델을 추론하기 위한 전체 과정을 담고 있습니다. 순서대로 명령어를 실행해 주세요.

Component Version

1. 시스템 기초 설정 및 Miniconda 설치

💡 WSL 기본 버전 설정 이 명령어는 Linux 터미널이 아닌 Windows PowerShell & CMD 에서 실행합니다.

wsl --set-default-version 2

# 완료시 WSL 접속
wsl

📌 Miniconda 설치 및 환경 구성 가상환경(vram)을 생성하고 Python 3.11을 세팅합니다.

# Miniconda 다운로드 및 설치
wget <https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh>
bash Miniconda3-latest-Linux-x86_64.sh

# 환경변수 추가 및 적용 (경로는 본인 환경에 맞게 수정)
echo 'export PATH="/home/dev/miniconda3/envs/vram/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

# 가상환경 생성 및 활성화
conda create -n vram python=3.11 -y
conda activate vram

2. 빌드 도구 및 GCC / CUDA 설정

📌 필수 라이브러리 및 GCC 12 설치 ktransformers 빌드에 필요한 C++ 컴파일러와 필수 시스템 라이브러리들을 설치합니다.

sudo apt update
sudo apt install -y build-essential gcc-12 g++-12 cmake \\
libnuma-dev libtbb-dev libssl-dev libcurl4-openssl-dev \\
libaio-dev libgflags-dev zlib1g-dev libfmt-dev pkg-config libhwloc-dev

📌 GCC 버전 우선순위 설정 및 확인

현재 ktransformer(v0.5.1)는 GCC 12버전만 호환됩니다.

# gcc-12를 기본 컴파일러로 설정
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-12 50 --slave /usr/bin/g++ g++ /usr/bin/g++-12

# 버전 확인 (12.x 버전이 출력되어야 함)
gcc --version

# Conda 환경용 심볼릭 링크 생성
ln -s /usr/bin/gcc /home/dev/miniconda3/bin/x86_64-conda-linux-gnu-cc

📌 CUDA 12.8 Toolkit 설치

wget <https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb>
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-8

# 환경변수 등록 (.bashrc 하단 추가)
echo 'export PATH=/usr/local/cuda-12.8/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.8/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
echo 'export CUDA_HOME=/usr/local/cuda-12.8' >> ~/.bashrc

# 변경사항 적용
source ~/.bashrc