16GB RAM có đủ chạy LLM offline 7B và 13B không?
Chạy LLM offline, model 7B quantized Q4 chỉ cần khoảng 4-6 GB RAM cho weight, trong khi 13B…
quantization
1 bài viết
1 bài viết
Chạy LLM offline, model 7B quantized Q4 chỉ cần khoảng 4-6 GB RAM cho weight, trong khi 13B…