Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego rdzenia jego architektury. U fundamentu leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw rejestruje informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten cykl odtwarza się kilkakrotnie, aż do osiągnięcia zamierzonego efektu.
Trzonem tego procesu jest model językowy, który pełni rolę wewnętrznego głosu konsultacyjnego agenta. To on odczytuje polecenia użytkownika, dzieli złożone zadanie na drobniejsze podzadania i proponuje kolejność ich realizacji. Środowisko modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy wymaga precyzyjnych danych spoza swojej pamięci treningowej.
Ciekawym składnikiem architektury jest tak zwana pamięć operacyjna, w której agent trzyma tło bieżącego zadania. Dzięki niej nie traci wątku nawet wtedy, gdy proces rozciąga się na wiele etapów i potrzebuje przełączania między różnymi źródłami informacji. To dokładnie ta zdolność wyróżnia agenta od podstawowego skryptu, który odtwarza jedynie wcześniej zapisaną listę poleceń.
Oddzielną kwestią pozostaje sposób ewaluacji własnych działań. Dobrze skonstruowany agent jest w stanie rozpoznać, że otrzymany wynik odbiega od oczekiwanego, i cofnąć się do poprzedniego etapu, by podjąć próbę alternatywnej ścieżki. Taka samokorekta zbliża działanie maszyny do ludzkiego zwyczaju sprawdzania własnej pracy przed jej oddaniem.