Несмотря на сложный зоопарк вариантов LoRA, у меня есть ощущение, что единственная формальная теория для современных моделей, которую мы получим, будет связана с формализацией LoRA (например, через Kac-Rice) и MoE (через выпуклую оптимизацию). Неофициальные физические аргументы сильно это подтверждают.
TuringPost
TuringPost13 июл., 20:34
13 новых типов LoRA ▪️ T-LoRA ▪️ SingLoRA ▪️ LiON-LoRA ▪️ LoRA-Mixer ▪️ QR-LoRA ▪️ FreeLoRA ▪️ LoRA-Augmented Generation (LAG) ▪️ ARD-LoRA (Адаптивный Ранговый Динамический LoRA) ▪️ WaRA ▪️ BayesLoRA ▪️ Двойное Обучение LoRA (DLoRAL) ▪️ Безопасная Обрезка LoRA (SPLoRA) ▪️ PLoP (Точное Размещение LoRA) Сохраните список! Ознакомьтесь с этим, чтобы узнать, что они из себя представляют, и получить ссылки на статьи →
4,12K