CUDA
【博客翻译】CUDA中的索引
在本文中，作者解释了CUDA中矩阵行优先格式的含义，并通过分析2D和3D数组的索引来阐明其在CUDA kernel中的应用。文章还详细介绍了如何将矩阵相乘操作分解为多个线程块进行处理。
AMD跑DeepSeek性能超H200！128并发Token间延迟不超50ms，吞吐量达H200五倍
AMD MI300X在FP8下全面超越英伟达H200，吞吐量最高可达H200的5倍。得益于SGLang框架和优化的AI内核库AITER，MI300X在延迟相似的情况下实现了更高的吞吐量，并且在固定并发情况下性能提升75%。