包间时延

最近一周，我参与了一些第三方大模型的性能测试。发现对于实时性和稳定性要求较高的应用场景，模型的时延、并发性能、稳定性和生成准确性等指标成为衡量优劣的关键。