柏林，我在你裡面

今天，我們在 @OpenAI 達成了一個許多人認為還需要幾年的里程碑：在 2025 年國際數學奧林匹克（IMO）上達到金牌級別的表現，這是通過一個通用推理的 LLM 完成的——在與人類相同的時間限制內，且不使用工具。這聽起來雖然令人驚訝，但其實比標題所表達的意義更為重大 🧵

1T parameters, open-weights, just released on @huggingface!

🚨 你知道小批量的無動量香草 SGD（即你在入門機器學習中學到的第一個優化器）在每 FLOP 基礎上幾乎和 AdamW 一樣快，用於 LLM 的預訓練嗎？ 📜 1/n

不受歡迎的觀點，但技術負債是好的，它是加速和縮短時間表所必需的。