Amazon SageMaker AI wspiera inteligentne routowanie KV cache
Amazon SageMaker AI real-time endpoints zyskał nową funkcję - routing świadomy KV cache, który kieruje każde zapytanie do instancji z najdłuższym dopasowanym cache'em promptu. W artykule dowiesz się, jak to działa, kiedy go używać zamiast prefix-aware routingu i jak go włączyć na endpointach.
źródło: [aws/machine-learning-blog]