Nonostante la complessità dello zoo delle varianti di LoRA, ho come l'impressione che l'unica teoria formale per i modelli moderni che otterremo deriverà dalla formalizzazione di LoRA (ad esempio, tramite Kac-Rice) e MoE (tramite ottimizzazione convessa) Argomenti informali di tipo fisico suggeriscono questo con forza.
TuringPost
TuringPost13 lug, 20:34
13 nuovi tipi di LoRA ▪️ T-LoRA ▪️ SingLoRA ▪️ LiON-LoRA ▪️ LoRA-Mixer ▪️ QR-LoRA ▪️ FreeLoRA ▪️ LoRA-Augmented Generation (LAG) ▪️ ARD-LoRA (Adaptive Rank Dynamic LoRA) ▪️ WaRA ▪️ BayesLoRA ▪️ Dual LoRA Learning (DLoRAL) ▪️ Safe Pruning LoRA (SPLoRA) ▪️ PLoP (Precise LoRA Placement) Salva la lista! Controlla questo per scoprire cosa sono e ottenere i link ai documenti →
4,11K