Behandlas moderna rekommendationssystem som ett problem med förstärkt inlärning, med en summa av rabatterade framtida belöningar, eller som transaktioner i ett enda steg? Många produkter gör betydande offlinedataanalyser av åtgärder som vidtas för att informera om ändringar, men det verkar underskattat hur mycket mer kraftfullt det är att göra policyändringar på en levande, massivt parallell uppsättning oberoende miljöer/användare. Offline RL är i grunden svårare än online RL - du måste akta dig för att starta upp en optimistisk fantasi som inte testas av verkligheten.