Amazon Bedrock prompt caching: jak zaoszczędzić na tokenach wejściowych

Amazon Bedrock wprowadza prompt caching, czyli mechanizm, który może zredukować koszty tokenów wejściowych nawet o 90% przy powtarzalnym wysyłaniu tego samego kontekstu do modeli. Artykuł pokazuje sześć praktycznych scenariuszy zastosowania tej funkcji przez Converse API, od obsługi wiadomości po integrację z LangChain.