模型微调与压缩技术

Qwen3-8B-BitNet是基于Qwen3-8B进行微调的模型，使用Prime Intellect的SYNTHETIC-1数据集，并在每个线性层输入中添加RMSNorm，所有线性层已转换为BitNet。该模型大小压缩至2.5B左右。