Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego rdzenia jego architektury. U fundamentu leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw rejestruje informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg odtwarza się kilkakrotnie, aż do uzyskania zamierzonego efektu.
Trzonem tego procesu jest model językowy, który odgrywa rolę własnego głosu doradczego agenta. To on odczytuje instrukcje użytkownika, dzieli złożone zadanie na mniejsze podzadania i sugeruje kolejność ich realizacji. Otoczenie modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy potrzebuje precyzyjnych danych spoza swojej pamięci treningowej.
Interesującym elementem architektury jest tak zwana pamięć operacyjna, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie traci wątku nawet wtedy, gdy proces rozciąga się na wiele etapów i wymaga przełączania między różnymi źródłami informacji. To właśnie ta zdolność wyróżnia agenta od prostego skryptu, który wykonuje jedynie z góry ustaloną listę poleceń.
Oddzielną sprawą pozostaje sposób oceny własnych działań. Dobrze zbudowany agent jest w stanie zidentyfikować, że otrzymany wynik nie zgadza się od zamierzonego, i cofnąć się do wcześniejszego etapu, by podjąć próbę innej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego nawyku sprawdzania własnej pracy przed jej złożeniem.