Незважаючи на складність варіантів LoRA, я відчуваю, що єдина формальна теорія для сучасних моделей, яку ми отримаємо, буде виходити з формалізації LoRA (за допомогою, наприклад, Kac-Rice) і MoE (за допомогою опуклої оптимізації) Неофіційні аргументи з фізики про це переконливо свідчать
TuringPost
TuringPost13 лип., 20:34
13 нових типів LoRA ▪️ Т-ЛоРА ▪️ Співайте LoRA ▪️ LiON-LoRA ▪️ Компанія LoRA-Mixer ▪️ QR-LoRA ▪️ FreeLoRA ▪️ Покоління з доповненим вмістом LoRA (LAG) ▪️ ARD-LoRA (адаптивний ранг, динамічний LoRA) ▪️ WaRA ▪️ BayesLoRA ▪️ Подвійне навчання LoRA (DLoRAL) ▪️ Безпечна обрізка LoRA (SPLoRA) ▪️ PLoP (точне розміщення LoRA) Збережіть список! Ознайомтеся з цим, щоб дізнатися, що це таке, і отримати посилання на статті →
4,12K