offload策略

基本上单卡在并行策略恰当时能够做到1800~3000个tokens.
昨天DeepSeek公布了
《