DeepSeek giảm 90% KV cache ở 1 triệu token: lợi và hại là gì?
DeepSeek V4 KV cache giảm 90% ở ngữ cảnh 1 triệu token giúp hạ chi phí suy luận, nhưng mức nén mạnh cũng có thể làm kém ổn định khi tìm chi tiết nhỏ.
DeepSeek
DeepSeek V4 KV cache giảm 90% ở ngữ cảnh 1 triệu token giúp hạ chi phí suy luận, nhưng mức nén mạnh cũng có thể làm kém ổn định khi tìm chi tiết nhỏ.