Deepseek 로컬 설치 방법: Ollama 로 5분만에 설치 완료, 설치 테스트

 

Deepseek에 대해 많은 분들이 정보 보안때문에 걱정하고 계신데 사실 Deepseek은 오픈소스! 로컬에서 돌아가는 모델이라는 점이 굉장히 매력포인트입니다. 

 

이번엔 Ollama 를 이용해서 Deepseek 로컬 설치를 해보겠습니다. (어쩌다보니 리눅스 / 윈도우 모두 테스트)

 

 

Deepseek R1 간단 소개

DeepSeek AI 모델은 오픈소스 언어 모델로, OpenAI의 GPT와 견줄 만한 성능을 제공합니다. 이 모델은 대규모 강화학습을 통해 훈련되어, 다양한 언어 처리 작업에서 뛰어난 성능을 발휘합니다. 특히, DeepSeek-R1은 체인 오브 소트(Chain-of-Thought)와 같은 고급 추론 패턴을 스스로 학습하여, 복잡한 문제 해결에 강점을 보입니다.

 

DeepSeek R-1은 무료로 사용할 수 있으며, 로컬 설치를 통해 데이터 프라이버시를 보장할 수 있습니다.

사용자는 자신의 PC에 모델을 설치함으로써, 외부 서버에 데이터를 전송하지 않고도 AI의 기능을 활용할 수 있습니다. 이는 특히 민감한 정보를 다루는 기업이나 개인에게 매우 중요한 요소로 작용합니다.

로컬 설치는 사용자가 데이터의 소유권을 유지할 수 있게 해주며, 보안성을 높이는 데 기여합니다.

로컬 설치는 인터넷 연결 없이도 AI 모델을 사용할 수 있어 편리합니다.

---

설치 필수 조건

 

• Ollama 소프트웨어 설치: DeepSeek R-1을 로컬에서 실행하기 위해서는 Ollama라는 소프트웨어가 필요합니다. Ollama는 Windows, macOS, Linux 등 다양한 운영 체제에서 지원되며, 공식 웹사이트에서 다운로드할 수 있습니다.
• 하드웨어 요구 사항: DeepSeek R-1 모델을 실행하기 위해서는 최소 8GB 이상의 VRAM이 필요합니다. 더 큰 모델을 실행하려면 더 많은 메모리와 리소스가 요구됩니다. 예를 들어, 8B 모델은 8GB VRAM이 필요하며, 14B 모델은 14GB VRAM을 요구합니다. 따라서, 사용자는 자신의 시스템 사양을 고려하여 적절한 모델을 선택해야 합니다.
• DeepSeek R-1을 원활하게 실행하기 위해서는 NVIDIA A100, H100과 같은 고성능 GPU가 적합합니다. 
• 저는 1080 / 윈도우 와 3090 / 리눅스 에서 테스트 해봤습니다.

1) Linux , GPU 3090 에서 설치

• Ollama 사이트 접속, OS에 맞춰서 Ollama 설치. 명령어 입력
• https://ollama.com/download

Download Ollama on macOS

 

terminal에서 
>> curl -fsSL https://ollama.com/install.sh | sh

설치 잘됬나 체크
>> ollama -v 

본인의 RAM에 맞춰서 모델 설치 
1.5b 가 1.1GB / 8b가 4.9GB / 14b가 9.0GB / 32b가 20GB / 70b가 43GB
>> ollama run deepseek-r1:1.5b
>> ollama run deepseek-r1:8b
>> ollama run deepseek-r1:14b
>> ollama run deepseek-r1:32b
>> ollama run deepseek-r1:70b

 

 

 

말은 해본다. 말을 하니 잘하는거 같기도.

 

이 상태로는 쓸 수 없으니...어디에 붙여야할지 고민을 해본다.

nest.js 챗봇을 local에 그냥 둘걸그랬다. 귀찮구만.

 

DeepSeek R-1 모델을 보다 직관적으로 사용하기 위해 Gradio나 Chatbox AI와 같은 사용자 인터페이스(UI)를 추가할 수 있습니다. 이러한 UI는 터미널 명령어 입력의 불편함을 해소하고, 사용자가 모델과 상호작용하는 데 있어 더 나은 경험을 제공합니다. 

 

Chat UI 설치하는건 다음 포스팅에서, 

 

---

2) Window, GPU 1080 에서 설치

• Ollama 사이트 접속, OS에 맞춰서 Ollama 설치. 윈도우는 다운로드
• https://ollama.com/download

 

설치한다고 크게 뭐가 바뀌는건아니고, 시작프로그램 우측하단에 아이콘 누르면 라마가 한마리 생긴다.

 

잘 설치됬나 확인법은 시작프로그램에 terminal 검색해서 명령 프롬프트를 엽니다.

 

• terminal에 ollama -v 를 치면, 버전이 나오면 제대로 설치된 것이다.

• 윈도우는 다시 ollama 사이트로 돌아가서 모델을 다운받아서 설치한다.(Models 에서 deepseek-r1 선택)

• ollama run deeepseek-r1:1.5b 에서 run을 pull로 바꿔준다. 

터미널에 입력
>> ollama pull deeepseek-r1:1.5b

• 혹시나 궁금하실까봐 ollama 명령어 

 

• 설치가 완료되면 이제 ollama run deeepseek-r1:1.5b 을 해서 실행시킨다.

터미널에 입력
>> ollama run deeepseek-r1:1.5b

• 터미널에서 대화해봅시다. 불편하지만 정보 보안됩니다 (?)

 

• deepseek에서 나가는 법 /bye

터미널에 입력
>> /bye

• 터미널에서 이것저것 대화해봅시다. 불편하지만 정보 보안됩니다 (?)

 

사실 UI 없으면 local에서 실행해봐야 의미읎다..

1.5b 모델도 coding쪽에서는 꽤 괜찮다. 정도 배움.

14b 모델은 한국어를 꽤 잘했는데 1.5b는 한국어를 잘 못한다.

아 1.5b를 지우고 8b 모델 설치해봤는데, 대답을 한국어로 하라고 하니 잘하는 편이다. 

llama를 공부해야봐야하나. 삭제 방법도 알려드립니다.

 

---

Deepseek 삭제 방법

• 삭제 명령어는 rm이다. 

터미널에 입력
>> ollama rm deeepseek-r1:1.5b

 

 

 

 

by. skyfishb