أسقطت Google DeepMind للتو بنية نموذج LLM الجديدة هذه المسماة Mix-of-Recrosions. يحصل على سرعة استدلال 2x ، وتقليل FLOPs للتدريب و ~ 50٪ ذاكرة تخزين مؤقت KV منخفضة. قراءة مثيرة للاهتمام حقا. لديه القدرة على أن يكون قاتل المحولات.
مصدر:
‏‎237.29‏K