Jeg tror i økende grad at ferdighetsgrensen for LLM-assistert ingeniørfag sannsynligvis er omtrent like høy som for ingeniørfag generelt. (Det er absolutt dypere enn f.eks. Excel, og det er OOM-er i Excel-ferdigheter.)

Ferdighetstak er en gamerisme. Det fanger intuisjonen om at det er noen spill hvor forskjellen mellom beste spiller og dårligste spiller er marginal, tic tac toh, og andre hvor dette er veldig usant, og man kan studere spillet hele livet mens man forbedrer seg kontinuerlig (poker, go).

Dette er ikke bare på nivå med mikromekanikk eller hurtigteknikk eller kontekstteknikk. Det er hele arbeidsmåter som lener seg på det LLM gjør best, og hvor mye tid du kan bruke på dem er ikke fast på tvers av alle økter eller prosjekter.

Og så, gitt at du har kontroll eller innflytelse over helheten av systemet, har du metabeslutninger å ta om "Bør jeg ønske at dette systemet skal ha flere underkomponenter av den typen som LLM-er bare *sveiver* gjennom? Eller bør jeg ta andre arkitekturvalg eller lignende?»

Og ja, vi er år fra å lære hvordan vedlikeholdssløyfen ser ut for LLM-leverte delsystemer, men de smarte pengene er sannsynligvis "Et menneske kan være klar over i en generell forstand at det skjer."

Uansett, disse tingene er veldig, veldig morsomme, og jeg befinner meg på et rart sted hvor jeg skulle ønske ferien var over, slik at jeg kunne skrive kode gratis.

(Som en av de mange tilpasningene til denne stilen, drar den nytte av flere timers blokker med uavbrutt tid fordi agentene trives med kontekst og de første minuttene av en økt suger. Dette er vanskelig å levere fra kjøkkenbordet hos svigerfamilien.)