Apakah akan ada cara bagi teknologi besar untuk "menyumbangkan" jam yang tidak terpakai pada kluster GPU besar mereka untuk sains terbuka dan pengembang AI sumber terbuka? Bisa menambah jumlah yang signifikan untuk digunakan dengan baik?

Jadi Qwen juga mendapat penunjukan lab perbatasan sekarang?? @xeophon_ @Presidentlin

Qwen COOKED - mengalahkan Kimi K2 dan bersaing dengan Claude Opus 4 dengan total parameter 🤯 25%

🏆 Papan Peringkat Kompresi Cache KV @nvidia kami sekarang aktif! Bandingkan metode kompresi canggih secara berdampingan dengan KVPress. Lihat teknik mana yang memimpin dalam efisiensi dan kinerja. 🥇

Ini bukan pembaruan KECIL. Ini sangat besar! Beri kami ini untuk setiap model, silakan tim🙏 Qwen

Kami baru saja merilis 100+ pos pemeriksaan menengah dan log pelatihan kami dari pelatihan SmolLM3-3B. Kami berharap ini dapat bermanfaat bagi peneliti yang mengerjakan interpretasi mekanisme, dinamika pelatihan, RL, dan topik lainnya :) Log pelatihan: -> Kerugian pelatihan biasa (kesenjangan kerugian disebabkan oleh perubahan campuran), grad_norm dll. -> Metrik per lapisan/blok (norma l1/l2, rata-rata, min, maks, kurtosis) Pos pemeriksaan: -> pra-pelatihan setiap langkah 40 ribu (token 94,4 miliar) -> ekstensi konteks panjang setiap langkah 4k (token 9,4 miliar) -> pasca-pelatihan: SFT, mid-training, sup APO, pakar LC

500 ribu sampel data pasca-pelatihan multibahasa dalam 5 bahasa: Prancis, Spanyol, Italia, Jerman, dan Portugis. Untuk mengatasi kurangnya kumpulan data pasca-pelatihan multibahasa, kami membuat sampel ini dan menemukan bahwa mereka meningkatkan kinerja pada tolok ukur seperti Global MMLU, Belebele, dan Multi-IF

Lebih dari senang hati mengumumkan bahwa saya bergabung dengan 🤗 @huggingface sebagai #MachineLearningEngineer yang berfokus pada #WebML!

1.000.000 🤗

Minggu yang sempurna: Saya baru saja menggunakan Kimi-K2 oleh @Kimi_Moonshot untuk menggetarkan kode aplikasi @Gradio! 🔥 Anda dapat menggunakan Ruang "Anycoder" oleh @_akhaliq yang dihosting di @huggingface secara gratis. Itu sangat cepat! 🤗 PS: Saya sadar menggunakan Gradio untuk menggetarkan kode Gradio lain! Permainan kata-kata sangat dimaksudkan di sini! 😂