Prompt caching w Amazon Bedrock – oszczędzaj na tokenach i latencji
Amazon Bedrock wprowadza prompt caching dla open-weight modeli, co pozwala na ponowne wykorzystanie długich kontekstów bez konieczności ich przesyłania za każdym razem. Artykuł pokazuje praktyczne implementacje zarówno niejawnego jak i jawnego cachingu przez Chat Completions API, z przykładem na sesji OpenCode coding agenta.
źródło: [aws/machine-learning-blog]