důvod, proč je analýza (a regulace a PMing) těžká* je, že příslušné ROZMĚRY se neustále pohybují s každou generací hraničního modelu; Nestačí jen umístit osu X nebo Y do logaritmických měřítek a zákonů měřítka dráhy, musíte si skutečně dát tu práci a zamyslet se nad tím, jak se modely strukturálně liší v roce 2025 vs 2024 vs 2023 a tak dále Např Všichni se 2 roky soustředí na ELO, ELO se dostane do hry a ztratí důvěryhodnost všichni se po dobu 3 let zaměřili na cenu za tokeny, modely uvažování mají 10-40x variaci výstupních tokenů na úkol, cena za token ztrácí smysl Sbírejte data, jak chcete, ale pokud sbíráte pouze nedotčené časové řady, můžete ztratit ze zřetele širší obraz *(a proč tvrzení jako "AI inženýr není věc, protože všichni softwaroví inženýři jsou AI inženýři" jsou COPE a nikdy nebudou správná, s výjimkou toho nejtriviálnějšího smyslu)
Scott Huston
Scott Huston22. 7. 08:30
Existuje veřejná tabulka všech předních modelů LLM od různých společností s jejich cenami, srovnávacími skóre, skóre arena elo atd.?
9,72K