Apesar da complexidade das variantes de LoRA, eu meio que sinto que a única teoria formal para modelos modernos que vamos obter virá da formalização de LoRA (via, por exemplo, Kac-Rice) e MoE (via otimização convexa) Argumentos informais da física sugerem isso fortemente
TuringPost
TuringPost13 de jul., 20:34
13 novos tipos de LoRA ▪️ T-LoRA ▪️ SingLoRA ▪️ LiON-LoRA ▪️ Misturador LoRA ▪️ QR-LoRA ▪️ FreeLoRA ▪️ Geração aumentada por LoRA (LAG) ▪️ ARD-LoRA (LoRA dinâmico de classificação adaptativa) ▪️ WaRA ▪️ BayesLoRA ▪️ Aprendizagem LoRA dupla (DLoRAL) ▪️ LoRA de poda segura (SPLoRA) ▪️ PLoP (posicionamento preciso de LoRA) Salve a lista! Confira isso para saber o que são e obter os links para os artigos →
4,12K