Navzdory složitosti variant LoRA mám pocit, že jediná formální teorie pro moderní modely, kterou dostaneme, bude pocházet z formalizace LoRA (např. prostřednictvím Kac-Rice) a MoE (prostřednictvím konvexní optimalizace) Fyzika - neformální argumenty to silně naznačují
TuringPost
TuringPost13. 7. 20:34
13 nových typů LoRA ▪️ T-LoRA ▪️ SingLoRA ▪️ LiON-LoRA ▪️ LoRA-Mixer ▪️ QR-LoRA ▪️ FreeLoRA ▪️ LoRA-rozšířená generace (LAG) ▪️ ARD-LoRA (Adaptivní Rank Dynamic LoRA) ▪️ WaRA ▪️ BayesLoRA ▪️ Duální LoRA učení (DLoRAL) ▪️ Bezpečné prořezávání LoRA (SPLoRA) ▪️ PLoP (přesné umístění LoRA) Uložte seznam! Podívejte se na to, abyste se dozvěděli, co to je, a získali odkazy na noviny →
4,14K