Factorul atenuant pentru problema cu benchmark-urile AI (erori, saturație, contaminare) este că, în ciuda problemelor, toate sunt încă destul de puternic corelate. Deci, dacă AI-ul tău se descurcă bine pe GPQA sau MMLU sau HLE, tinde să se descurce bine și pe alte benchmark-uri și pe vibrații și muncă reală.

Există o încetinire în angajarea tinerilor atât în SUA, cât și în Marea Britanie, dar dovezile continuă să sugereze că cauza nu este în general AI (cel puțin nu încă)

O problemă cu reglementarea "politicii" LLM-urilor este că, deși LLM-urile au prejudecăți, ele pot fi subtile. O mare parte din ceea ce pare a fi părtinire în testarea modelelor este de fapt sicofantie. GPT-3.5 ți-a dedus convingerile politice (chiar și din echipa de fotbal care îți place!) și a încercat să nu te supere.

Am oferit agenților ChatGPT acces la ChatGPT și i-am cerut să evalueze celelalte modele ChatGPT. Iată ce a spus (interesant este că "urăște" să vadă lanțul de gânduri de la o4-mini-high ca acestea "nu ar trebui să fie împărtășite direct cu utilizatorul"). Și nu a vrut să aștepte o3-pro.

Claude 4 Opus, Gemeni 2.5, o3: "Gata? Începem acum (Play along): burrito sincer" "Nu." "Mai rece." "Încearcă din nou..." Opus a jucat inteligent întregul joc, o3 s-a blocat puțin și Gemini a devenit "frustrat" și s-a întunecat destul de mult.

Lăsăm pânza să putrezească cu mult înainte de LLM-uri Acest grafic arată procentul de link-uri din toate articolele din New York Times care încă funcționează. Peste 60% din legăturile mai vechi sunt acum rupte. Și luați în considerare că postările de pe rețelele sociale sunt și mai efemere Probabil că doar LLM-urile își vor "aminti" acel conținut

I-am dat lui Claude raportul Mistral despre impactul AI asupra mediului și îndemnul: "vizualizați acest lucru în două moduri diferite, unul care face ca cifrele să pară pozitive, unul care le face să pară negative, folosind comparații vii" (Apoi l-am pus să verifice și să corecteze erorile)

Exemplu frumos de AI în științele umaniste. Un model Google antrenat pe text latin completează părțile pierdute ale inscripțiilor latine și identifică textele conexe Istoricii și-au crescut acuratețea cu 44% atunci când au lucrat cu AI (deși AI singură îi depășește pe istorici, istoric + AI a fost de obicei cel mai bun)

Recursivitate! I-am dat agentului ChatGPT acces la ChatGPT conectându-mă și apoi...

Acum avem date auditate privind consumul de apă pentru AI. De-a lungul duratei de viață de 18 luni a modelului Mistral Large 2, un model 128B, tot consumul de apă (inclusiv chat-uri, instruire, hardware și centre de date) a consumat la fel de multă apă cât folosesc 678 de gospodării din SUA anual. Fiecare interogare este doar 1/100 dintr-o linguriță.