SageMaker AI zyskuje inteligentne routowanie dla LLM – szybciej do pierwszego tokena
Amazon SageMaker AI wprowadza KV cache-aware routing dla real-time inference endpoints, co pozwala zmniejszyć czas do pierwszego tokena w workloadach LLM z długimi lub powtarzającymi się promptami. Nowa funkcja automatycznie kieruje requesty na instancje, które mają w cache'u najdłuższe pasujące fragmenty promptu, a jeśli coś pójdzie nie tak, system wraca na load-aware routing – bez dodatkowych kosztów.
źródło: [aws/whats-new]