Optymalizacje kerneli dla modeli MoE na Amazon SageMaker AI

AWS pokazuje, jak wycisnąć więcej mocy z modeli Mixture-of-Experts na H200 GPU-ach dzięki kilku sprytnym trickom: Swap-AB dla WGMMA, routing przez Triton backend z FP8 i eliminacji JIT recompilacji. Wynik? Do 10% wyższa przepustowość i 9% szybszy Time to First Token.