ChatGPT Codex na AWS: jak postawić własny gateway z LiteLLM
Artykuł pokazuje, jak skonfigurować LiteLLM gateway na Amazon ECS z Fargate i podpiąć go pod OpenAI model na Amazon Bedrock, aby routować requesty przez Codex z kontrolą budżetu, rate limitami i telemetrią. Dowiesz się też, jak porównać to podejście z bezpośrednim dostępem przez IAM Identity Center i zarządzanym deploymentem Portkey.
źródło: [aws/machine-learning-blog]