GPT é uma série de modelos autorregressivos que geram texto token por token, predizendo a próxima palavra com base no contexto anterior. Evoluiu do GPT-1 (117M parâmetros) ao GPT-4 (estimado em trilhões de parâmetros). O processo de treinamento combina pré-treinamento não-supervisionado em grandes corpora com fine-tuning supervisionado e RLHF para alinhar o modelo com instruções humanas.