Adăugarea unui mod frumos de a vizualiza obiectivul PPO la cartea rlhf. Nucleul pentru gradientul de politică este L~ R*A (R = raportul de politică, A = avantaj). Faceți acțiunile bune mai probabile până la un punct. Faceți acțiunile rele mai puțin probabile până la un punct. Min(...), & semnul adv determină ce linie.