A pesar de la complejidad de las variantes de LoRA, creo que la única teoría formal para los modelos modernos que vamos a obtener va a provenir de la formalización de LoRA (a través, por ejemplo, de Kac-Rice) y MoE (a través de la optimización convexa) Los argumentos informales de la física sugieren esto fuertemente
TuringPost
TuringPost13 jul, 20:34
13 nuevos tipos de LoRA ▪️ T-LoRA ▪️ SingLoRA ▪️ LiON-LoRA ▪️ Mezclador LoRA ▪️ QR-LoRA ▪️ FreeLoRA ▪️ Generación aumentada de LoRA (LAG) ▪️ ARD-LoRA (LoRA Dinámico de Rango Adaptativo) ▪️ WaRA ▪️ BayesLoRA ▪️ Aprendizaje Dual LoRA (DLoRAL) ▪️ Poda segura LoRA (SPLoRA) ▪️ PLoP (Colocación precisa de LoRA) ¡Guarda la lista! Echa un vistazo a esto para saber cuáles son y obtener los enlaces a los documentos →
4.12K