15 inlägg om AI-utvärderingar och benchmarking:

@SentoraHQ och @FlareNetworks Project @Firelightfi nått det andra registreringstaket sedan det tillkännagavs i måndags. XRP-communityt brinner! Tack för stödet. Nu är alla händer på däck mot lanseringen om några veckor.

🧠 Grok 4 by @xai gör framsteg när det gäller att resonera benchmarks, men bilden är mer nyanserad än vad poängen antyder. Här är hur det står sig – och vad vi verkligen kan lära oss av resultaten 🧵 📊 Fullständig utvärdering: 1️⃣ Grok 4 poäng: • AI2 Reasoning Challenge (lätt): 98 % • AIME 2025 (matematik): 89 % • Redovisningsrevision: 84 % • MMLU-Plus: 64 % • Data4Health: 55 % Det här är topresultat – men låt oss zooma in på vad som fungerar och vad som fortfarande misslyckas. 2️⃣ AIME 2025 ✅ Behandlar algebra, geometri, talteori ✅ Följer LaTeX-formateringsregler ❌ Kämpar med logik i flera steg ❌ Fel i kombinatorik ❌ Problem med formatprecision (t.ex. saknas °) 3️⃣ Redovisning Revision ✅ Stark på etik och rapportering ✅ Gediget grepp om revisionsprinciper ❌ Feltolkar liknande förfaranden ❌ Misslyckas med att upptäcka subtila svarsskillnader ❌ Svårt att tillämpa teori på verkliga fall 4️⃣ Den verkliga insikten? Även en modell med 98 % på vissa uppgifter kan misslyckas hårt under tvetydighet eller formateringsstress. Benchmarks som AIME och Audit visar hur det misslyckas, inte bara hur mycket det får i poäng. 5️⃣ Varför detta är viktigt: Vi behöver en transparent utvärdering per uppgift – inte bara topplistor. #Grok4 är kraftfullt, men ändå sprött i verkliga domäner med höga insatser. 🧪 Utforska hela uppdelningen: #AI #LLMs #Benchmarking

7 dagar tills vår väntelista går LIVE! Var bland de första 1 000 för att låsa upp förmåner för tidiga användare, alfa och ökade insatsbelöningar. 👉 Registrera dig den 14 juli för likvid staking av institutionell kvalitet för $XRP.

Försökte skissera några unika idéer i den här: Glass-Box Transformers: How Circuits Illuminate Deep Learning's Inner Workings,

Jag tyckte verkligen om att skriva den här :) The Sequence Engineering #676: Hacka med Gemini CLI

Anthropics forskning om TEE-driven "konfidentiell inferens" kan omforma Web3-AI. Sentoras medgrundare @jrdothoughts packar upp detaljerna här👇

Utmärkt analys av den senaste tokeniserade aktieproduktmanin, jag håller med om att det här inte är bra produkter, och förhoppningsvis den första iterationen av något användbart som kommer i framtiden, när bättre modeller utvecklas.

The Sequence Knowledge #675: Att lära sig att utvärdera multi-agent AI:er