powodem, dla którego analiza llm (i regulacje, i PMing) jest trudna* jest to, że odpowiednie WYMIARY ciągle się zmieniają z każdą generacją modelu granicznego; nie wystarczy po prostu ustawić swoją oś x lub y w skali logarytmicznej i śledzić prawa skalowania, musisz naprawdę wykonać pracę, aby pomyśleć o tym, jak modele różnią się strukturalnie w 2025 roku w porównaniu do 2024 roku, 2023 roku i tak dalej. eg everyone focused on elo przez 2 lata, elo jest oszukiwane i traci wiarygodność everyone focused on price per tokens przez 3 lata, modele rozumowania mają 10-40x zmienność w liczbie tokenów wyjściowych na zadanie, cena za token traci sens. zbieraj dane, ile chcesz, ale jeśli tylko zbierasz nieskazitelne szereg czasowy, możesz stracić z oczu szerszy obraz. *(i dlaczego stwierdzenia takie jak „inżynier AI to nie jest rzecz, ponieważ wszyscy inżynierowie oprogramowania są inżynierami AI” to cope i nigdy nie będą prawdziwe, chyba że w najbardziej trywialnym sensie)
Scott Huston
Scott Huston22 lip, 08:30
Czy istnieje publiczny arkusz kalkulacyjny wszystkich wiodących modeli LLM z różnych firm, pokazujący ich ceny, wyniki benchmarków, wyniki elo w arenie itp?
9,9K