英伟达重磅推出「圣诞礼物」:新一代GB300
英伟达将发布新一代GB300和B300 GPU,浮点运算性能提升50%,显存容量提升至288GB。采用TSMC 4NP工艺,功耗达到1.4KW。内存方面采用了HBM3E技术,并且支持自定义主板、散热等关键部件。GTC 2025将于明年3月举行。
英伟达将发布新一代GB300和B300 GPU,浮点运算性能提升50%,显存容量提升至288GB。采用TSMC 4NP工艺,功耗达到1.4KW。内存方面采用了HBM3E技术,并且支持自定义主板、散热等关键部件。GTC 2025将于明年3月举行。
最近在对接GPT实现一个功能过程中遇到流式返回的问题,并介绍了从后端到前端如何适配流式返回的方案。文中提到websocket和SSE协议的区别以及使用Flux处理大模型流式返回的技术细节。