Trots komplexitetszoot av LoRA-varianter, känner jag att den enda formella teorin för moderna modeller som vi kommer att få kommer att komma från att formalisera LoRA (via t.ex. Kac-Rice) och MoE (via konvex optimering) Fysik-aktiga informella argument tyder starkt på detta
TuringPost
TuringPost13 juli 20:34
13 nya typer av LoRA ▪️ T-LoRA ▪️ SingLoRA (på engelska) ▪️ LiON-LoRA ▪️ LoRA-Mixer ▪️ QR-LoRA ▪️ FreeLoRA ▪️ LoRA-Augmented Generation (LAG) ▪️ ARD-LoRA (Adaptiv Rang Dynamisk LoRA) ▪️ WaRA (på engelska) ▪️ BayesLoRA ▪️ Dubbel LoRA-inlärning (DLoRAL) ▪️ Säker beskärning LoRA (SPLoRA) ▪️ PLoP (exakt LoRA-placering) Spara listan! Kolla in det här för att lära dig vad de är och få länkarna till tidningarna →
4,13K