Min erfarenhet av ChatGPT Agent hittills: Jag har misslyckats med att hitta några användningsfall som _inte_ kan hanteras av Deep Research och som ändå kan slutföras framgångsrikt av Agent utan att stöta på några stötestenar som janky webbformulär eller åtkomstbegränsningar. Jag är säker på att jag kommer att hitta några användningsområden, men det kommer att sluta med att det är en liten bråkdel av uppgifterna som dyker upp i mina arbetsflöden. Om så är fallet kommer det inte att vara meningsfullt att försöka göra nya uppgifter med hjälp av Agent om det inte är en uppgift som jag annars skulle spendera timmar på (eller skulle behöva upprepa dagligen). Om min förväntan är att Agent kommer att lyckas med 5% sannolikhet, och det tar 10-20 minuter av att försöka smärtsamt hårt innan man ger upp, är det inte värt min tid att ens ta reda på om Agent kan göra det. Jag skulle bara använda det om jag på något sätt redan visste att det är en uppgift som Agent kan hantera. Med tanke på allt detta fortsätter jag att tro att uppgiftsspecifika agenter kommer att vara mer framgångsrika under överskådlig framtid.

Snabb tråd om de senaste IMO-resultaten och förhållandet mellan symbolmanipulation, resonemang och intelligens hos maskiner och människor:

🧠Nytt på CITP-bloggen från doktoranden Boyi Wei (@wei_boyi) vid POLARIS Lab: "The 'Bubble' of Risk: Improving Assessments for Offensive Cybersecurity Agents" Läs om hur angripare kan anpassa och ändra modeller med öppen källkod för att kringgå skyddsåtgärder. 👇

När jag på gymnasiet insåg hur "marknadsplatsen för idéer" faktiskt fungerar, kändes det som att jag hade hittat fuskkoderna till en forskarkarriär. Idag är detta det viktigaste jag lär ut till studenter, mer än något annat som har med vår forskning att göra. Ett snabbt förord: när jag talar om forskningsframgång menar jag inte att publicera massor av artiklar. De flesta publicerade artiklar samlar damm eftersom det finns för mycket forskning inom något område för att människor ska uppmärksamma dem. Och särskilt med tanke på hur lätt det är att ge ut pre-prints, behöver forskning inte vara officiellt publicerad för att vara framgångsrik. Så även om publikationer kan vara en förutsättning för karriäravancemang, bör de inte vara målet. För mig är forskningsframgång att skapa idéer som påverkar dina kollegor och gör världen till en bättre plats. Så den grundläggande insikten är att det finns för många idéer som kommer in på idéernas marknad, och vi måste förstå vilka som blir inflytelserika. Den goda nyheten är att kvalitet är viktigt – allt annat lika kommer bättre forskning att bli mer framgångsrik. Den dåliga nyheten är att kvalitet bara är svagt korrelerad med framgång, och det finns många andra faktorer som spelar roll. Först, ge dig själv flera skott på mål. Turens roll är ett återkommande tema i mina karriärråd. Det är sant att tur spelar stor roll för att avgöra vilka tidningar som är framgångsrika, men det betyder inte att du ska resignera inför det. Du kan öka din "lyckoyta". Om du till exempel alltid lägger ut preprints får du flera chanser att ditt arbete uppmärksammas: en gång med preprintet och en gång med publikationen (plus att om du är inom ett område med stora publiceringsfördröjningar kan du se till att forskningen inte är scoopad eller irrelevant när den kommer ut). Mer allmänt, behandla forskningsprojekt som nystartade företag - acceptera att det finns en mycket hög variation i resultaten, där vissa projekt är 10 eller 100 gånger mer framgångsrika än andra. Detta innebär att du provar många olika saker, tar stora svängar, är villig att fullfölja vad dina kamrater anser vara dåliga idéer, men med en idé om varför du potentiellt kan lyckas där andra före dig misslyckades. Vet du något som andra inte vet, eller vet de något som du inte vet? Och om du får reda på att det är det senare måste du vara villig att avsluta projektet snabbt, utan att falla offer för sunk cost fallacy. För att vara tydlig, framgång beror inte bara på tur – kvalitet och djup spelar stor roll. Och det tar några års forskning för att gå på djupet i ett ämne. Men att ägna några år åt att undersöka ett ämne innan du publicerar något är extremt riskabelt, särskilt i början av din karriär. Lösningen är enkel: fullfölja projekt, inte problem. Projekt är långsiktiga forskningsagendor som varar 3-5 år eller mer. Ett produktivt projekt kan lätt producera ett dussin eller fler artiklar (beroende på område). Varför välja projekt istället för problem? Om din metod är att hoppa från problem till problem, kommer de resulterande artiklarna sannolikt att vara något ytliga och kanske inte har så stor inverkan. Och för det andra, om du redan är känd för uppsatser om ett visst ämne, är det mer sannolikt att folk uppmärksammar dina framtida uppsatser om det ämnet. (Ja, författarens rykte spelar stor roll. Alla egalitära föreställningar om hur människor väljer vad de ska läsa är en myt.) För att sammanfatta arbetar jag vanligtvis med 2-3 långsiktiga projekt åt gången, och inom varje projekt finns det många problem som undersöks och många papper som produceras i olika stadier av pipelinen. Det svåraste är att veta när man ska avsluta ett projekt. När du funderar på ett nytt projekt jämför du något som kommer att ta några år att verkligen förverkliga med ett ämne där du redan är mycket produktiv. Men man måste avsluta något för att ge plats åt något nytt. Att sluta vid rätt tidpunkt känns alltid som att sluta för tidigt. Om man går på magkänslan kommer man att stanna kvar inom samma forskningsområde alldeles för länge. Slutligen, bygg din egen distribution. Förr i tiden tjänade den officiella publiceringen av en artikel två syften: att ge den trovärdighet som kommer från peer review och att distribuera artikeln till dina kollegor. Nu har dessa två funktioner blivit helt avskurna. Publicering ger fortfarande trovärdighet, men distributionen är nästan helt upp till dig! Det är därför sociala medier betyder så mycket. Tyvärr introducerar sociala medier ohälsosamma incitament för att överdriva dina resultat, så jag tycker att bloggar/nyhetsbrev och långa videor är mycket bättre kanaler. Vi befinner oss i en andra guldålder för bloggande och det finns en extrem brist på människor som kan förklara spjutspetsforskning från sina discipliner på ett lättillgängligt sätt men utan att fördumma det som i pressmeddelanden eller nyhetsartiklar. Det är aldrig för tidigt – jag startade en blogg under min doktorandtid och den spelade en stor roll för att sprida min doktorsavhandling, både inom och utanför min forskargrupp. Sammanfattning * Forskningsframgång betyder inte bara publicering * Marknaden för idéer är mättad * Ge dig själv flera skott på mål * Välj projekt, inte problem * Behandla projekt som nystartade företag * Bygg din egen distribution

Experter på dysmorfofobi har varnat för att människor som kämpar med det har blivit alltmer beroende av AI-chatbots för att utvärdera sina självupplevda brister och rekommendera kosmetiska operationer. "Det kommer nästan upp i varenda session", säger en terapeut till mig.

Om vi jämförde AI-funktioner med människor som inte har tillgång till verktyg, som internet, skulle vi förmodligen finna att AI redan överträffar människor på många eller de flesta kognitiva uppgifter vi utför på jobbet. Men detta är naturligtvis inte en hjälpsam jämförelse och säger oss inte mycket om AI:s ekonomiska effekter. Vi är ingenting utan våra verktyg. Ändå är många förutsägelser om effekten av "AGI" baserade på hypotetiska jämförelser mellan människa och AI där människorna har tillgång till internet men ingen tillgång till AI. Denna typ av jämförelse är lika irrelevant. Den verkliga frågan är människor + AI vs AI ensam. I en sådan jämförelse kommer AI inte att överträffa människa-AI-par, förutom i smala, beräkningstunga domäner som spel där hastigheten är av största vikt och att ha en människa i bilden bara saktar ner saker och ting.* Så huruvida AI kommer att ersätta människor eller inte beror på faktorer utöver noggrannhet – saker som ansvarsskyldighet, förmågan att hantera okända okända faktorer och potentiella preferenser hos kunder och andra arbetare att interagera med en människa, allt vägt mot kostnaden för att anställa en människa. Därmed inte sagt att AI inte kommer att ersätta jobb. Men att titta på kapacitetsriktmärken och gå direkt till påståenden om förlust av arbetstillfällen är helt naivt. * Det finns många studier där arbetstagare felaktigt åsidosätter AI alltför ofta, men det beror på att de inte fick någon utbildning i när de ska åsidosätta och när de inte ska göra det, vilket är en viktig färdighet i AI-aktiverade arbetsflöden.

SB1047 var en dålig idé. Men senator Wieners senaste SB53 är på rätt spår, och det är viktigt att lyfta fram framstegen. Så här resonerar jag. Mitt tillvägagångssätt för att reglera ny teknik som modeller är: vi vet inte hur vi ska definiera "bra" begränsning och säkerhet, men vi kommer att veta det när – och om – vi ser det. Det finns två konsekvenser. #1. Vi bör inte föreskriva risktrösklar eller vårdstandarder för modellutveckling. Vi kan inte komma överens om vilka risker som är viktiga, hur de ska mätas eller hur mycket som är för mycket. Den enda vägledningen för utvecklare, tillsynsmyndigheter och domstolar är en uppsättning begynnande metoder som främst bestäms av företag med sluten källkod som förlitar sig på betalväggar för att göra det tunga arbetet. Om du gör det kan det dämpa öppen innovation genom att utsätta utvecklare för vagt eller ökat ansvar för omfattande lansering. Det var SB1047 i ett nötskal, tillsammans med ~5 motsvarigheter som det inspirerade över hela USA den här sessionen, till exempel RAISE Act i NY. Vi bör undvika detta tillvägagångssätt. Dessa förslag är – i snäva men avgörande avseenden – för långt över deras gränser. Och ändå: #2. Vi måste belysa branschpraxis för att bättre förstå den noggrannhet, eller brist på noggrannhet, som tillämpas av olika företag. Om utvecklare måste förbinda sig till en säkerhetspolicy, visa att de fungerar och lämna ett pappersspår kan vi bättre bedöma styrkan i deras påståenden, övervaka nya risker och besluta om framtida ingripanden. Det är EU:s AI Act och slutliga uppförandekod i ett nötskal, som både OpenAI och Mistral har godkänt, och det är @Scott_Wiener:s senaste version av SB53 också. Om vi ska reglera modellutveckling är det i grunden det bättre tillvägagångssättet: att reglera transparens – inte kapacitet, begränsningar eller acceptabel risk. Det skulle ge minst en amerikansk jurisdiktion tillsynsmyndigheten i Bryssel, och det skulle undvika oavsiktliga effekter på öppen utveckling. För att vara tydlig, det finns fortfarande isberg framför oss: > Komplexitet. Big Tech eller inte, detta är betungande dokumentations- och rapporteringsskyldigheter. Taktiskt sett gäller att ju mer komplext, desto mer sårbart kommer detta lagförslag att bli. > incitament. Obligatorisk offentlig rapportering av frivilliga riskbedömningar skapar ett perverst incitament för utvecklare att undertesta sina modeller och blunda för svåra risker. Att tillåta utvecklare att lämna ut sina resultat till revisorer eller byråer i stället för offentligt kan bidra till att främja större uppriktighet i deras interna bedömningar. > trojansk häst. Kaliforniens hyperaktiva tarm-och-korrigera-kultur kan göra det svårt att granska dessa lagförslag. Om SB53 förvandlas till en standardräkning för vård som SB1047 eller RAISE, bör den slås tillbaka av samma skäl som tidigare. Ju fler julgranskulor som läggs till denna julgran, desto mer omtvistad blir räkningen. > Bredd. Lagförslaget kastar ett brett nät med expansiva definitioner av katastrofal risk och farlig förmåga. För ett lagförslag om "obligatorisk rapportering/frivilliga metoder" fungerar de. Om detta lagförslag var en standardlag för vård skulle de vara ogenomförbara. Sammanfattningsvis: hatten av för senator Wiener för att han eftertänksamt engagerat sig och svarat på feedback under det senaste året. Det är uppfriskande att se ett lagförslag som faktiskt bygger på tidigare kritik. Det finns fortfarande många vägar som detta lagförslag kan ta – och det har utvecklats långt bortom det ursprungliga visselblåsarförslaget – men banan är lovande.

För folk som undrar vad som händer här rent tekniskt, en förklaring: När det finns massor av träningsdata med en viss stil, kommer användning av en liknande stil i din prompt att utlösa LLM att svara i den stilen. I det här fallet finns det MASSOR av fanfic: 🧵

Nytt inlägg: Datacenter vanföreställningar Bland mellanmakterna har Förenade Arabemiraten den tydligaste AI-strategin: att bli en "AI-oljestat" med en meningsfull global beräkningsandel. De flesta andra länder bygger datacenter utan att rikta in sig på genomförbara suveränitetströsklar. 🧵

På 1700-talet fanns det en verklig risk att dö när som helst i livet, och det fanns ingen stor topp i ålderdomen. Det var inte bara högre spädbarnsdödlighet – hela fördelningen var en helt annan. Bra diagram av @Scientific_Bird.