Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego rdzenia jego architektury. U fundamentu leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw odbiera informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg odtwarza się wielokrotnie, aż do uzyskania zamierzonego efektu.
Sercem tego procesu jest model językowy, który pełni rolę wewnętrznego głosu doradczego agenta. To on odczytuje instrukcje użytkownika, dzieli złożone zadanie na drobniejsze podzadania i sugeruje kolejność ich realizacji. Otoczenie modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy potrzebuje precyzyjnych danych spoza swojej pamięci treningowej.
Interesującym elementem architektury jest tak zwana pamięć robocza, w której agent przechowuje kontekst bieżącego zadania. Dzięki niej nie gubi nici nawet wtedy, gdy proces rozkłada się na kilka etapów i potrzebuje przeskakiwania między różnymi źródłami informacji. To właśnie ta zdolność odróżnia agenta od prostego skryptu, który wykonuje jedynie z góry ustaloną listę poleceń.
Oddzielną sprawą pozostaje sposób ewaluacji własnych działań. Odpowiednio zbudowany agent jest w stanie zidentyfikować, że otrzymany wynik nie zgadza się od zamierzonego, i wrócić do wcześniejszego etapu, by podjąć próbę alternatywnej ścieżki. Taka autokorekta przybliża działanie maszyny do ludzkiego nawyku sprawdzania własnej pracy przed jej złożeniem.