ogni volta che leggi un rapporto tecnico di un modello open-source SOTA che praticamente mette in ombra il 99% dei modelli dei laboratori occidentali (a parte i due migliori in assoluto), sembra sempre dire: "sì, abbiamo fondamentalmente curato dati di altissima qualità, generato con attenzione un sacco di dati [perché non siamo ritardati], poi abbiamo applicato tutti i migliori trucchi e cose che abbiamo visto negli ultimi 12 mesi per l'infrastruttura, post-addestramento ecc. e siamo arrivati a uno o due [perché abbiamo gusto / ci teniamo]" il numero di aziende negli Stati Uniti che potrebbero fare questo con i $$$ che vengono loro elargiti e nessuna di esse che fa davvero qualcosa di simile ti dice molto sulla qualità del talento in queste aziende.

"abbiamo usato Muon come ottimizzatore, lo abbiamo modificato e abbiamo trascorso tutto il nostro tempo a costruire un pipeline di generazione e validazione dei dati. Il resto è specifico per il nostro numero di calcoli e infrastruttura specifica + tutte le migliori pratiche che ne derivano" waow

vs "stiamo lavorando su una SuperIntelligenza Sicura e Redditizia. L'AGI è vicina. I giorni degli ingegneri sono finiti. Assunzioni per 500 ingegneri."