Thiết lập Ollama chạy DeepSeek-R1 và Qwen 2.5 local trên GPU RTX: Hiệu năng thực tế

Tại sao xu hướng Self-host Local LLM ngày càng bùng nổ?#

Vấn đề bảo mật dữ liệu khách hàng (Privacy & Compliance) là rào cản lớn nhất khiến nhiều công ty không thể gửi dữ liệu lên OpenAI hay Anthropic. Nhờ sự xuất hiện của các model mã nguồn mở như DeepSeek-R1-Distill và Qwen 2.5, việc tự chạy một LLM thông minh tương đương GPT-4 ngay trên máy trạm nội bộ đã hoàn toàn khả thi.

Trong bài viết này, mình chia sẻ kinh nghiệm setup thực tế với công cụ Ollama trên card đồ họa NVIDIA RTX 4090 (24GB VRAM) và RTX 3060 (12GB VRAM).

Hướng dẫn cài đặt và cấu hình tối ưu#

Cài đặt Ollama chỉ với 1 dòng lệnh trên Linux:

curl -fsSL https://ollama.com/install.sh | sh

# Tải và chạy DeepSeek-R1 bản 14B Q4_K_M (chiếm khoảng 9GB VRAM)
ollama run deepseek-r1:14b

# Hoặc Qwen 2.5 Coder 14B chuyên biệt cho lập trình
ollama run qwen2.5-coder:14b

Để Ollama lắng nghe trên toàn bộ dải mạng LAN văn phòng, hãy chỉnh sửa biến môi trường trong systemd:

sudo systemctl edit ollama.service
# Thêm cấu hình:
# [Service]
# Environment="OLLAMA_HOST=0.0.0.0:11434"
# Environment="OLLAMA_NUM_PARALLEL=4"

Kết quả đo lường tốc độ (Tokens/second)#

Đánh giá chất lượng thực tế#

Bản Qwen 2.5 Coder 14B xử lý các bài toán viết Regex, sinh SQL query, và debug Vue/React rất ấn tượng, hoàn toàn đủ sức phục vụ cho team dev 5-10 người dùng chung làm assistant trong VS Code qua plugin Continue.dev.

Góc thảo luận#

Anh em ở công ty có máy trạm GPU để tự chạy mô hình local không? Anh em chuộng dùng Ollama hay vLLM hơn?

Xem thêm nội dung liên quan:

• Từ điển AI: Fine-tuning là gì?
• Review công cụ Cursor AI