AWS udostępnia aws-bench do testowania AI agentów

AWS wypuścił w research preview aws-bench, czyli open-source'owy benchmark do mierzenia wydajności AI agentów na infrastrukturze AWS. Narzędzie oferuje zestaw testów opartych na rzeczywistych scenariuszach użytkowania chmury, od troubleshootingu po tworzenie zasobów. Każdy test łączy naturalny prompt z konkretnym stanem zasobów i oczekiwanym wynikiem, co pozwala obiektywnie ocenić działanie modelu. Dołączony CLI tool ułatwia konfigurację środowisk testowych i śledzenie postępów. aws-bench jest już dostępny na GitHubie.