尽管LoRA变体的复杂性如同动物园,但我确实感觉我们将要获得的现代模型的唯一正式理论将来自于对LoRA(例如,通过Kac-Rice)和MoE(通过凸优化)的形式化。 物理学的非正式论证强烈暗示了这一点。
TuringPost
TuringPost7月13日 20:34
13种新的LoRA类型 ▪️ T-LoRA ▪️ SingLoRA ▪️ LiON-LoRA ▪️ LoRA-Mixer ▪️ QR-LoRA ▪️ FreeLoRA ▪️ LoRA增强生成(LAG) ▪️ ARD-LoRA(自适应秩动态LoRA) ▪️ WaRA ▪️ BayesLoRA ▪️ 双LoRA学习(DLoRAL) ▪️ 安全剪枝LoRA(SPLoRA) ▪️ PLoP(精确LoRA放置) 保存列表!查看此内容以了解它们是什么,并获取论文链接 →
4.11K