Mặc dù có sự phức tạp của các biến thể LoRA, tôi cảm thấy rằng lý thuyết chính thức duy nhất cho các mô hình hiện đại mà chúng ta sẽ có được sẽ đến từ việc chính thức hóa LoRA (thông qua, ví dụ, Kac-Rice) và MoE (thông qua tối ưu hóa lồi) Các lập luận không chính thức mang tính vật lý gợi ý điều này một cách mạnh mẽ.
TuringPost
TuringPost20:34 13 thg 7
13 loại LoRA mới ▪️ T-LoRA ▪️ SingLoRA ▪️ LiON-LoRA ▪️ LoRA-Mixer ▪️ QR-LoRA ▪️ FreeLoRA ▪️ LoRA-Augmented Generation (LAG) ▪️ ARD-LoRA (Adaptive Rank Dynamic LoRA) ▪️ WaRA ▪️ BayesLoRA ▪️ Dual LoRA Learning (DLoRAL) ▪️ Safe Pruning LoRA (SPLoRA) ▪️ PLoP (Precise LoRA Placement) Lưu danh sách này lại! Kiểm tra điều này để tìm hiểu chúng là gì và nhận liên kết đến các tài liệu →
4,12K