Pomimo złożoności zoo wariantów LoRA, mam wrażenie, że jedyną formalną teorią dla nowoczesnych modeli, którą otrzymamy, będzie ta, która pochodzi z formalizacji LoRA (np. poprzez Kac-Rice) i MoE (poprzez optymalizację wypukłą) Nieformalne argumenty z fizyki sugerują to mocno.
TuringPost
TuringPost13 lip, 20:34
13 nowych typów LoRA ▪️ T-LoRA ▪️ SingLoRA ▪️ LiON-LoRA ▪️ LoRA-Mixer ▪️ QR-LoRA ▪️ FreeLoRA ▪️ LoRA-Augmented Generation (LAG) ▪️ ARD-LoRA (Adaptive Rank Dynamic LoRA) ▪️ WaRA ▪️ BayesLoRA ▪️ Dual LoRA Learning (DLoRAL) ▪️ Safe Pruning LoRA (SPLoRA) ▪️ PLoP (Precise LoRA Placement) Zapisz listę! Sprawdź to, aby dowiedzieć się, czym są i uzyskać linki do artykułów →
4,1K