bartek@aws: ~/news
$ whoami
$ AWS Architect · DevOps · Cloud
środa, 18 listopada 2026

Amazon ElastiCache wspiera rozproszone cachowanie KV dla LLM-ów

Amazon ElastiCache for Valkey wprowadza rozproszone cachowanie KV, które zmniejsza koszty inferencji self-hosted LLM-ów o 40% i czas do pierwszego tokena o 80%. Nowa funkcja dostępna jest w 13 regionach AWS na całym świecie i integruje się z popularnymi silnikami typu vLLM, SGLang czy TensorRT-LLM.

źródło: [aws/whats-new]