Trotz des komplexen Zoos von LoRA-Varianten habe ich das Gefühl, dass die einzige formale Theorie für moderne Modelle, die wir bekommen werden, aus der Formalisierung von LoRA (z. B. über Kac-Rice) und MoE (über konvexe Optimierung) stammen wird. Physikalisch informelle Argumente deuten stark darauf hin.
TuringPost
TuringPost13. Juli, 20:34
13 neue Arten von LoRA ▪️ T-LoRA ▪️ SingLoRA ▪️ LiON-LoRA ▪️ LoRA-Mixer ▪️ QR-LoRA ▪️ FreeLoRA ▪️ LoRA-Augmented Generation (LAG) ▪️ ARD-LoRA (Adaptive Rank Dynamic LoRA) ▪️ WaRA ▪️ BayesLoRA ▪️ Dual LoRA Learning (DLoRAL) ▪️ Safe Pruning LoRA (SPLoRA) ▪️ PLoP (Precise LoRA Placement) Speichere die Liste! Schau dir das an, um zu erfahren, was sie sind und um die Links zu den Arbeiten zu erhalten →
4,12K