Was fehlt: Investitionen in Open-Source-Modelle und andere Dinge, die das langfristige Forschungsökosystem unterstützen, das die USA zum langfristigen Zuhause der KI-Innovation machen wird. Etwas, das unser Land heute fehlt, aber behoben werden kann.

Das beste Open-Source-AI-Modell hat gerade einen detaillierten Bericht darüber veröffentlicht, wie es trainiert wurde, eine seltene Ressource für Studenten, da kein Grenzlabor veröffentlicht! Die geschätzten Gesamtkosten für das Training von Kimi K2 liegen bei etwa 20-30 Millionen US-Dollar, was ungefähr mit den Preisen übereinstimmt: 0,6 $/M bei 2,5 $/M an Tokens. 10 Highlights:

Das wäre so 🔥🔥🔥 @Alibaba_Qwen @Kimi_Moonshot

Wenn ich heute einen Wunsch frei hätte, würde ich mir wünschen, dass Kimi und Qwen ihre Post-Training-Datensätze wie Nous veröffentlichen 🫣🤗 So könnten wir alle viel einfacher auf der Arbeit der anderen aufbauen!

Gäbe es eine Möglichkeit für große Tech-Unternehmen, die ungenutzten Stunden ihrer massiven GPU-Cluster an die offene Wissenschaft und Entwickler von Open-Source-KI zu "spenden"? Das könnte sich zu erheblichen Beträgen summieren, die sinnvoll genutzt werden könnten?

Also erhält Qwen jetzt auch die Bezeichnung Frontier Lab?? @xeophon_ @Presidentlin

Qwen COOKED - schlägt Kimi K2 und ist wettbewerbsfähig mit Claude Opus 4 bei 25% der Gesamtparameter 🤯

🏆 Unser @nvidia KV Cache Compression Leaderboard ist jetzt live! Vergleichen Sie die neuesten Kompressionsmethoden nebeneinander mit KVPress. Sehen Sie, welche Techniken in Bezug auf Effizienz und Leistung führend sind. 🥇

Das ist kein kleines Update. Das ist riesig! Gebt uns das bitte für jedes Modell, Qwen-Team🙏

Wir haben gerade über 100 Zwischenprüfungen und unsere Trainingsprotokolle aus dem SmolLM3-3B-Training veröffentlicht. Wir hoffen, dass dies für Forscher, die an mechanischer Interpretation, Trainingsdynamik, RL und anderen Themen arbeiten, nützlich sein kann :) Trainingsprotokolle: -> Üblicher Trainingsverlust (die Lücken im Verlust sind auf Änderungen der Mischung zurückzuführen), grad_norm usw. -> Metriken pro Schicht/Block (l1/l2-Norm, Mittelwert, Minimum, Maximum, Kurtosis) Checkpoints: -> Vortraining alle 40k Schritte (94,4B Tokens) -> Lange Kontextverlängerung alle 4k Schritte (9,4B Tokens) -> Nachtraining: SFT, Mid-Training, APO-Suppe, LC-Experte