În ciuda complexității variantelor LoRA, simt că singura teorie formală pentru modelele moderne pe care o vom obține va veni din formalizarea LoRA (prin, de exemplu, Kac-Rice) și MoE (prin optimizare convexă) Argumentele informale ale fizicii sugerează acest lucru cu tărie
TuringPost
TuringPost13 iul., 20:34
13 noi tipuri de LoRA ▪️ T-LoRA ▪️ SingLoRA ▪️ LiON-LoRA ▪️ LoRA-Mixer ▪️ QR-LoRA ▪️ FreeLoRA ▪️ Generarea augmentată de LoRA (LAG) ▪️ ARD-LoRA (LoRA dinamic cu rang adaptiv) ▪️ WaRA ▪️ BayesLoRA ▪️ Învățare LoRA duală (DLoRAL) ▪️ Tunderea sigură LoRA (SPLoRA) ▪️ PLoP (plasare precisă LoRA) Salvați lista! Verificați acest lucru pentru a afla care sunt și pentru a obține link-urile către lucrările →
4,17K