Amazon ElastiCache wspiera rozproszone cachowanie KV dla LLM-ów
Amazon ElastiCache for Valkey wprowadza rozproszone cachowanie KV, które zmniejsza koszty inferencji self-hosted LLM-ów o 40% i czas do pierwszego tokena o 80%. Nowa funkcja dostępna jest w 13 regionach AWS na całym świecie i integruje się z popularnymi silnikami typu vLLM, SGLang czy TensorRT-LLM.
źródło: [aws/whats-new]