vLLM przyspiesza inference dzięki push-based transferowi KV cache

vLLM wprowadza nowy connector NIXL, który optymalizuje transfer KV cache między instancjami podczas disaggregowanego inferencji. Rozwiązanie przenosi koordynację transferu poza ścieżkę krytyczną, osiągając do 3x lepszy TTFT i 30% poprawę TPOT na instancjach Amazon EC2 P5en z AWS EFA.