환경
- CPU: AMD 7700 - Non-over
- RAM: 64GB
- GPU:
1. AMD 7700 내장 GPU
2. AMD Radeon RX 7900 GRE 16GB
테스트1: WSL2 에서 ollama 를 이용
WSL image: Ubuntu 24.04
다른 것 없음... 그냥 Ollama 홈페이지 가서, Linux용 설치 방법대로 하고, 아래 명령어로 모델 다운로드 한 뒤, 실행하면됨
curl -fsSL https://ollama.com/install.sh | sh
ollama pull deepseek-r1:7b
ollama run deepseek-r1:7b
문제점:
CPU로만 연산함... 비행기 이륙하길래 뭔가 했음. 속도는... 생각보다 준수해서 놀람.
References:
Download Ollama on macOS
Download Ollama for macOS
ollama.com
테스트2: WSL2에서 GPU 를 이용하여, 테스트 - Feat. ROCm
결과: 실패 (화나서 길게 설명안함. 2025-01-28 기준)
WSL2에서 ROCm 설치 후 (Kernel Module 사용하지 않고, Agent 형태로.....)
WSL2 네이티브로도 테스트해보고, docker로도 테스트 해보고, gpt한테도 물어보고...
다 해봤으나, 결론은 ollama에서 현재 WSL2 ROCm을 지원하지 않는 것으로 보임. (방법이 있다면 공유점...)
*Ubuntu 20.04? 22.04? 가 아닌 버전에서 설치시 라이브러리 에러가 발생하는데, 아래 명령어로 이전 버전의 repository 정보 추가해주고, 해당 라이브러리 설치 뒤, 추가된 repository를 다시 주석 처리하면됨..
sudo add-apt-repository -y -s deb http://security.ubuntu.com/ubuntu jammy main universe
References:
- https://rocm.docs.amd.com/projects/radeon/en/latest/docs/install/wsl/install-radeon.html
- https://github.com/ollama/ollama/issues/5275
- https://askubuntu.com/questions/1517236/rocm-not-working-on-ubuntu-24-04-desktop
테스트3: Windows 11에 그냥 윈도우용 Ollama 설치 후 테스트
그냥... ollama 홈페이지에서 windows 버전 다운로드 후, cmd 실행하여, 테스트1과 동일한 명령어로 model 다운로드 후, 실행하면 됨.
ROCm 설치 뭐 그딴거 필요 없음....
GPU 잘사용함...
VSCODE에 github copilot 처럼 사용하는 방법 등은 다른 분들 게시글 참조용..