Saluki 27B là mô hình 2-bit nén từ Qwen3.8-27B do nhóm Underdog công bố ngày 07/10/2026, thu khối dữ liệu khoảng 54 GB xuống một tệp GGUF 7,89 GB và theo nhà phát triển có thể chạy trên laptop 16 GB. Nội dung dưới đây dựa trên model card trên Hugging Face và trang giới thiệu của Underdog, gồm nguồn gốc, cách tải và khởi chạy bằng llama.cpp hoặc Ollama, điểm số gọi công cụ cùng các giới hạn nhà phát triển tự nêu. Lượng tử hóa, nói đơn giản, là cách lưu mỗi trọng số của mô hình bằng ít bit hơn để tệp nhỏ lại, đổi lấy một phần độ chính xác.
Saluki 27B là gì và được Underdog xây dựng từ đâu
Saluki 27B là tên Underdog đặt cho bản lượng tử của Qwen3.8-27B, mô hình 27 tỷ tham số do nhóm Qwen phát hành theo giấy phép Apache 2.0. Trang giới thiệu Saluki của Underdog đề ngày 07/10/2026, còn kho chứa ConwayResearch/Underdog-Saluki-27B-1.0 trên Hugging Face được tạo ngày 08/10/2026 theo giờ quốc tế. Underdog tự mô tả là công ty thiên về ứng dụng, dùng mô hình mã nguồn mở có sẵn để xây sản phẩm thay vì huấn luyện mô hình gốc.
Bản Saluki không được huấn luyện lại từ đầu. Model card của Saluki trên Hugging Face ghi hai nền tảng: Qwen3.8-27B của nhóm Qwen và bản lượng tử Qwen3.8-27B-GSQ-RCO-GGUF của phòng thí nghiệm ISTA-DASLab, cả hai cùng giấy phép Apache 2.0. Giấy phép này cho phép sử dụng, chỉnh sửa và phân phối lại, kể cả mục đích thương mại, miễn giữ thông báo bản quyền đi kèm. Underdog ghi rõ đây là bản xem trước và hứa công bố đầy đủ quy trình huấn luyện ở giai đoạn sau.
Theo model card của nhóm Qwen, Qwen3.8-27B là mô hình dày đặc 64 lớp, tích hợp bộ mã hóa hình ảnh, ngữ cảnh gốc 262.144 token và mở rộng được tới 1.000.000 token. Phiên bản đầy đủ chiếm khoảng 54 GB. Mục tiêu của Underdog là đưa năng lực ấy vào một mô hình 2-bit đủ nhỏ cho phần cứng phổ thông mà vẫn duy trì khả năng gọi công cụ, tức là để mô hình tự chọn hàm, điền tham số và gọi phần mềm khác thay vì chỉ trả lời bằng văn bản.
Lượng tử 2-bit thu gọn 54 GB xuống còn 7,89 GB
Ở độ chính xác 16-bit, mỗi trọng số chiếm 2 byte, nên 27 tỷ tham số cần khoảng 54 GB, khớp con số Underdog nêu cho phiên bản đầy đủ. Saluki 27B gói toàn bộ trọng số vào một tệp tên Underdog-Saluki-27B-1.0-IQ2-mix.gguf, dung lượng 7,89 GB, tức chưa bằng một phần sáu bản gốc. Tên IQ2 cho biết tệp thuộc họ định dạng 2-bit của llama.cpp; nhà phát triển không công bố từng lớp dùng bao nhiêu bit.
| Bản nén của Qwen3.8-27B | Định dạng | Dung lượng (GB) | Underdog Bench (bài qua, trên 120) |
|---|---|---|---|
| Saluki (Underdog) | GGUF IQ2-mix | 7,89 | 88 |
| Main (bản khác của Underdog) | Không công bố | 7,9 | 91 |
| Mia 2-bit | EXL3 2.0bpw | 9,1 | 85 |
| ISTA 2-bit | GGUF IQ2_XS | 8,4 | 76 |
| Ternary Bonsai 2 | PTQ1_0 | 5,95 | 70 |
| Qwen3.8-27B bản đầy đủ | Bản gốc | Khoảng 54 | 84 |
Underdog đặt Saluki 27B cạnh các mô hình 2-bit khác nén từ cùng bản gốc. Mia 2-bit có dung lượng 9,1 GB ở định dạng EXL3 nên cần ExLlamaV3 và không nạp được trong llama.cpp. ISTA 2-bit dạng IQ2_XS có dung lượng 8,4 GB, còn Ternary Bonsai 2 chỉ 5,95 GB. Nhóm phát triển còn một bản tên Main dung lượng 7,9 GB, điểm gọi công cụ nhỉnh hơn Saluki nhưng khả năng duyệt web kém hơn, và đó là một lý do Saluki được chọn phát hành.
Điểm cộng của mô hình 2-bit này là định dạng chuẩn: tệp GGUF nạp được trong llama.cpp nguyên bản và các ứng dụng xây trên nó, không cần bản dựng riêng. Cái giá phải trả nằm ở tác vụ đòi hỏi tính toán chính xác, thể hiện qua điểm toán thi đấu suy giảm đáng kể so với phiên bản đầy đủ. Ở bài sửa lỗi phần mềm SWE-bench Verified, trang giới thiệu cho biết Saluki giữ được 27 trong 33 lỗi mà phiên bản đầy đủ sửa thành công.
Laptop 16GB chạy Saluki 27B cần chuẩn bị những gì
Trang giới thiệu của Underdog ghi ngắn gọn Saluki 27B chạy được trên laptop 16 GB. Model card không nêu mức RAM tối thiểu, cũng không công bố tốc độ sinh token trên phần cứng cụ thể nào. Cách ước lượng RAM và VRAM theo số tham số, giúp đặt mức 27B cạnh các cỡ mô hình khác, có trong Local LLM: Cấu hình RAM và VRAM cho model 7B đến 70B. Phép tính đơn giản cho thấy tệp mô hình 2-bit 7,89 GB chiếm gần một nửa 16 GB, dung lượng khả dụng còn lại dành cho hệ điều hành, bộ đệm ngữ cảnh và các ứng dụng đang mở.
Lệnh mẫu trong model card đặt ngữ cảnh 32.768 token bằng tham số -c 32768 và đưa toàn bộ lớp lên GPU bằng -ngl 99. Trên laptop dùng đồ họa tích hợp, GPU chia sẻ chung bộ nhớ hệ thống, nên dung lượng dành cho ngữ cảnh dài bị giới hạn trực tiếp bởi tổng RAM. Khi bộ nhớ không đủ, giảm giá trị -c là phương án điều chỉnh đầu tiên trước khi nghĩ tới nâng cấp phần cứng. Model card chỉ xác nhận đã thử trên Apple silicon, chưa nêu kết quả trên laptop Windows.
Cách bộ nhớ 16 GB bị chia giữa mô hình và hệ thống được phân tích kỹ trong bài Chạy mô hình ngôn ngữ dịch thuật ngoại tuyến: Laptop 16GB RAM có gánh nổi?. Cấu hình 32 GB cho khoảng trống rộng hơn khi cần ngữ cảnh dài hoặc chạy song song nhiều ứng dụng.
Cách tải và khởi chạy bằng llama.cpp hoặc Ollama theo README
Model card hướng dẫn tải tệp bằng công cụ dòng lệnh của Hugging Face: huggingface-cli download ConwayResearch/Underdog-Saluki-27B-1.0 Underdog-Saluki-27B-1.0-IQ2-mix.gguf --local-dir ., sau đó khởi chạy bằng llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768. Máy chủ mở cổng 8080 và giao tiếp theo chuẩn API chat của OpenAI, nên ứng dụng hỗ trợ chuẩn này kết nối được ngay.
Tham số --jinja kích hoạt khuôn hội thoại của Qwen3.8, phần xử lý việc gọi công cụ và chế độ suy luận, còn -fa on kích hoạt Flash Attention. Với Ollama, README hướng dẫn tải tệp GGUF, tạo tệp Modelfile chứa một dòng FROM ./Underdog-Saluki-27B-1.0-IQ2-mix.gguf, chạy ollama create saluki -f Modelfile rồi ollama run saluki. Nhà phát triển xác nhận đã thử trên Ollama 0.40.4 với Apple silicon, các chức năng trò chuyện, suy luận và gọi công cụ đều hoạt động.
Ai mới làm quen với cách Ollama quản lý mô hình trên laptop có thể tham khảo Ollama trên laptop: Vận hành AI cục bộ không cần đám mây trước khi nhập tệp GGUF tải từ bên ngoài. Cần đọc ảnh thì model card hướng dẫn tải thêm tệp thị giác mmproj bản F16 (928 MB) hoặc Q8_0 (629 MB) rồi thêm tham số --mmproj vào lệnh khởi chạy. Mọi tệp nên tải từ đúng kho ConwayResearch để tránh bản sửa đổi không rõ nguồn gốc.
Khả năng gọi công cụ và chế độ suy luận thinking
Underdog Bench là bộ 120 bài lấy từ Berkeley Function Calling Leaderboard (BFCL v4), chia đều 24 bài cho năm kiểu gọi công cụ và được chốt từ ngày 27/9, trước khi chạy thử bất kỳ mô hình nào. Saluki 27B qua 88 bài, bản Qwen3.8-27B đầy đủ qua 84 bài. Underdog tự lưu ý 120 bài là phép thử khiêm tốn và một phần chênh lệch có thể đến từ dao động giữa các lần chạy, nên không khẳng định mô hình 2-bit thông minh hơn bản gốc.
| Bài kiểm tra | Saluki (bản nén) | Qwen3.8-27B đầy đủ |
|---|---|---|
| Underdog Bench, bài qua trên 120 | 88 | 84 |
| Gọi song song chấm chặt, bài qua trên 100 | 42 | 35 |
| SWE-bench Verified, lỗi sửa được trên 50 | 30 | 33 |
| IFEval (prompt-loose) | 93,5 | 91,5 (công khai) |
| IFBench (prompt-loose) | 72,7 | 71,0 (công khai) |
| MBPP+ | 78,0 | 83,9 (công khai) |
| MuSR | 67,5 | 79,6 (công khai) |
| AIME 2025 (avg@4) | 79,2 | 96,7 (công khai) |
| AIME 2026 (avg@4) | 80,0 | 94,6 (công khai) |
Ở hai kiểu gọi một hàm đúng và chọn đúng hàm giữa nhiều hàm, Saluki đạt 47 trên 48 bài, trong khi Mia đạt 31. Với gọi công cụ song song, tức một câu trả lời phải gọi nhiều hàm cùng lúc, Saluki qua 42 trên 100 bài khi chấm chặt và 55 bài khi bỏ qua lỗi định dạng nhỏ, so với 35 của phiên bản đầy đủ. Mia đạt 69 và 70 bài ở hạng mục này, Underdog thừa nhận bản đó làm tốt hơn. Điểm có ghi công khai lấy từ bộ đo khác, không cùng điều kiện với Underdog.
Chế độ suy luận (thinking) bật mặc định giống Qwen3.8 và tắt được theo từng yêu cầu bằng tham số "chat_template_kwargs": {"enable_thinking": false}. Model card khuyến nghị temperature 0,6, top_p 0,95, top_k 20 cho tác vụ chung và suy luận; khi ưu tiên gọi công cụ nhanh, trực tiếp thì tắt suy luận và để temperature 0. Bật suy luận cho kết quả chắc hơn, đổi lại mô hình thường cân nhắc khá lâu trước khi trả lời.
Giới hạn đã công bố và điểm chưa thống nhất giữa hai nguồn
Model card liệt kê các giới hạn chính của mô hình 2-bit này. Saluki 27B giữ khoảng 82 đến 85% điểm toán thi đấu của phiên bản đầy đủ, thể hiện ở AIME 2025 đạt 79,2 so với 96,7. Mô hình yếu ở câu đố cấp độ chữ cái như từ đối xứng, quy tắc nguyên âm hay thứ tự bảng chữ cái. Khoảng một phần năm câu trả lời gọi song song mắc lỗi định dạng nhỏ, nên trang giới thiệu khuyên dùng bộ phân tích lời gọi dễ tính hơn.
| Hạng mục | Model card Hugging Face | Trang underdog.ai/saluki |
|---|---|---|
| Đọc hình ảnh | Có tệp thị giác tùy chọn mmproj 928 MB hoặc 629 MB | Ghi bản phát hành chỉ nhận văn bản, không nhận ảnh |
| Ngôn ngữ khai báo | language: en | Không nêu danh sách ngôn ngữ |
| Yêu cầu bộ nhớ | Không nêu | Chạy được trên laptop 16 GB |
| Tốc độ token mỗi giây | Không công bố | Không công bố |
| Gọi song song chấm nới | Không nêu | 55 trên 100 bài |
Hai nguồn chính thức lệch nhau ở khả năng đọc ảnh. Model card trong kho Hugging Face, cập nhật lần cuối ngày 15/10/2026, mô tả tệp chính chỉ xử lý văn bản và nhận ảnh qua tệp thị giác bổ sung. Trang giới thiệu ngày 07/10/2026 lại ghi bản phát hành này không nhận ảnh. Mốc thời gian gợi ý tệp thị giác được thêm sau ngày ra mắt, nhưng nhà phát triển chưa giải thích, nên cần xác minh thực tế trước khi dựa vào tính năng này.
Về tiếng Việt, model card của Saluki chỉ khai báo tiếng Anh, còn model card Qwen3.8-27B không liệt kê ngôn ngữ hỗ trợ. Thế hệ Qwen3.5 từng công bố hỗ trợ 201 ngôn ngữ và phương ngữ, nhưng chưa có số đo nào cho thấy mô hình 2-bit này giữ được chất lượng tiếng Việt. Trước khi dùng Saluki 27B cho văn bản tiếng Việt quan trọng, cần tự thử trên dữ liệu thực tế và xác minh lại kết quả.
Câu hỏi thường gặp (FAQ)
Saluki 27B có miễn phí và dùng cho mục đích thương mại được không?
Có. Tệp mô hình phát hành theo giấy phép Apache 2.0, kế thừa từ Qwen3.8-27B và bản lượng tử của ISTA-DASLab. Underdog còn ghi có thể dùng mà không cần trích dẫn nhóm phát triển, còn khi phân phối lại cần giữ tệp LICENSE và NOTICE theo điều khoản Apache.
Mô hình 2-bit này có chạy được trên laptop Windows không?
Tệp GGUF chạy trong llama.cpp nguyên bản, và llama.cpp có bản dựng cho Windows. Model card chỉ xác nhận đã thử Ollama trên Apple silicon, chưa công bố kết quả trên laptop Windows hay tốc độ sinh token cụ thể, nên hiệu năng thực tế phụ thuộc phần cứng từng laptop.
Saluki 27B khác gì bản Qwen3.8-27B đầy đủ?
Bản đầy đủ khoảng 54 GB, mô hình 2-bit chỉ 7,89 GB. Trên Underdog Bench, Saluki 27B qua 88 bài so với 84, nhưng thấp hơn ở toán thi đấu với AIME 2026 đạt 80,0 so với 94,6 và ở lập trình MBPP+ đạt 78,0 so với 83,9.
Có cần GPU rời để chạy Saluki không?
Nhà phát triển không nêu ngưỡng phần cứng hay yêu cầu GPU rời. Lệnh mẫu dùng -ngl 99 để đẩy toàn bộ lớp lên GPU nếu có; trên laptop chỉ có đồ họa tích hợp, mô hình dùng chung bộ nhớ hệ thống. Underdog chỉ khẳng định mô hình chạy được trên laptop 16 GB, không kèm cấu hình chi tiết.
0 phản hồi cho “Saluki 27B là gì - Mô hình 2-bit 7,89 GB chạy được trên laptop 16GB”