Malgré le zoo complexe des variantes de LoRA, j'ai l'impression que la seule théorie formelle pour les modèles modernes que nous allons obtenir viendra de la formalisation de LoRA (via, par exemple, Kac-Rice) et de MoE (via l'optimisation convexe) Des arguments informels de type physique suggèrent cela fortement.
TuringPost
TuringPost13 juil., 20:34
13 nouveaux types de LoRA ▪️ T-LoRA ▪️ SingLoRA ▪️ LiON-LoRA ▪️ LoRA-Mixer ▪️ QR-LoRA ▪️ FreeLoRA ▪️ LoRA-Augmented Generation (LAG) ▪️ ARD-LoRA (Adaptive Rank Dynamic LoRA) ▪️ WaRA ▪️ BayesLoRA ▪️ Dual LoRA Learning (DLoRAL) ▪️ Safe Pruning LoRA (SPLoRA) ▪️ PLoP (Precise LoRA Placement) Enregistrez la liste ! Consultez ceci pour apprendre ce qu'ils sont et obtenir les liens vers les articles →
4,1K