딥시크(DeepSeek) 로컬 실행 방법
딥시크(DeepSeek) AI 모델을 로컬 PC에서 실행하는 대표적인 방법은 Ollama 또는 LM Studio와 같은 툴을 활용하는 것입니다. 아래에 각 방법별 설치 및 실행 절차, 요구 사양, 주요 특징을 정리합니다.
Ollama를 이용한 딥시크 로컬 실행
1. 시스템 요구 사항
- 운영체제: Windows 10/11, macOS(M1/M2/M3 또는 Intel), Linux(Ubuntu 20.04 이상)
- CPU: 멀티코어(최소 Intel i5/Ryzen 5 이상)
- RAM:
- 1.5B 모델: 8GB 이상
- 8B 모델: 16GB 이상
- 14B 모델: 32GB 이상
- 저장공간: 최소 20GB 이상 여유 공간 권장
- GPU(선택사항): 대형 모델의 경우 NVIDIA RTX 3060 이상 권장
2. Ollama 설치
- Windows: Ollama 공식 웹사이트에서 설치 파일 다운로드 후 실행
- macOS: 터미널에서
brew install ollama명령어 실행 - Linux: 터미널에서
curl -fsSL https://ollama.com/install.sh | sh실행 - 설치 확인: 터미널/명령 프롬프트에서
ollama --version입력, 버전이 출력되면 정상 설치
3. 딥시크 모델 다운로드 및 실행
- 원하는 딥시크 모델(예: 1.5B)을 다운로드:
ollama pull deepseek-r1:1.5b- 모델 실행:(모델명 뒤의
1.5b는 원하는 파라미터 수에 따라8b,14b등으로 변경 가능) ollama run deepseek-r1:1.5b- 프롬프트 테스트 예시:
echo "What is the capital of France?" | ollama run deepseek-r1:1.5b- 모델이 다운로드된 후에는 인터넷 없이도 사용 가능
4. 성능 최적화 및 추가 기능
- CPU 스레드 조정:
ollama run deepseek-r1:1.5b --num-threads=4 - GPU 가속 사용(NVIDIA GPU 사용 시):
ollama run deepseek-r1:1.5b --use-gpu - 응답 토큰 제한:
ollama run deepseek-r1:1.5b --max-response-tokens=100 - UI 추가: Gradio, Chatbox AI 등으로 웹 기반 인터페이스 구축 가능
LM Studio를 이용한 딥시크 로컬 실행
- LM Studio는 Windows, macOS, Linux에서 사용 가능하며, GUI 환경을 제공해 초보자도 쉽게 딥시크 모델을 다운로드 및 실행할 수 있습니다.
- 설치 후 좌측 검색창에서
deepseek을 검색, 원하는 모델을 다운로드 및 로드하여 바로 실행
딥시크 로컬 실행의 장점
- 프라이버시 보장: 데이터가 외부 서버로 전송되지 않음
- 오프라인 사용: 인터넷 연결 없이도 AI 기능 사용 가능
- 비용 절감: 장기적으로 클라우드 서비스 대비 비용 효율적
- 유연성: 모델 파인튜닝, 다양한 툴과 연동 가능
요약
- Ollama 또는 LM Studio를 설치 → 딥시크 모델 다운로드 → 명령어 또는 GUI로 실행
- 하드웨어 사양에 맞는 모델 선택 필수
- GPU 사용 시 대형 모델도 원활히 구동 가능
- 데이터 프라이버시, 비용, 오프라인 사용 등 다양한 장점
딥시크를 로컬에서 실행하면, 보안과 자유도 면에서 매우 큰 이점을 누릴 수 있습니다.
한글이 가능한 저사양 모델
qwen2:1.5b-instruct 모델로 설치 하시면 한글로 대답하는 AI를 보실수 있습니다.
ollama pull qwen2:1.5b-instruct
ollama run qwen2:1.5b-instruct
한글이 가능한 중간사양 모델 (VGA 6GB 이상)
ollama pull hf.co/MLP-KTLim/llama-3-Korean-Bllossom-8B-gguf-Q4_K_M:Q4_K_M
ollama run hf.co/MLP-KTLim/llama-3-Korean-Bllossom-8B-gguf-Q4_K_M:Q4_K_M
WEB으로 연결해서 ChatGPT처럼 사용하기
Ollama로 LLM(예: Llama3, Qwen 등)을 설치하고, 웹브라우저에서 ChatGPT처럼 사용할 수 있는 환경을 만드는 대표적인 방법을 안내합니다.
웹 인터페이스(Open WebUI) 설치
가장 많이 쓰이는 방법은 Open WebUI(구 Ollama WebUI)입니다.
이 툴은 Ollama에 연결해 웹브라우저에서 챗봇처럼 사용할 수 있게 해줍니다.
Docker로 설치 (권장, Windows/Mac/Linux 공통)
- Docker Desktop 설치
- 터미널(또는 명령 프롬프트)에서 아래 명령 실행:
호스트IP는 Ollama가 설치된 PC의 IP 주소(같은 PC면localhost)- Ollama가 이미 실행 중이어야 함
docker run -d -p 3000:8080 -e WEBUI_LANGUAGE=ko-KR -e OLLAMA_API_BASE_URL=http://호스트IP:11434 --name open-webui ghcr.io/open-webui/open-webui:main- 브라우저에서
http://localhost:3000접속
(다른 PC에서 접속하려면http://Ollama서버IP:3000)
위 방법으로 Ollama, Open WebUI 2개만 설치하면 자신만 ChatGPT를 만들어서 사용할 수 있습니다.
728x90