4-bit

腾讯 AI Lab 研究发现低比特量化仅在未充分训练的 LLM 上能取得与 fp16/bf16 相当的性能表现，提出了一套低比特量化的 scaling laws，并通过实验验证其普适性。