AI Bootcamp: LLM Fine Tuning and Deployment, організований SCB 10X та @float16cloud, успішно завершився. Учасники заходу поділилися важливими знаннями та методами щодо тонкого налаштування та практичного розгортання великих мовних моделей (LLM). . 👉Ключовий висновок - На чолі з Typhoon: 5 порад для ефективної тонкої настройки моделей . 1. Витрачайте понад 80% часу на підготовку даних (якість має фундаментальне значення) 2. Створіть принаймні два набори оціночних даних: один має бути абсолютно невидимими даними 3. Під час тонкого налаштування використовуйте комплекти train та eval для контролю за перенавчанням 4. Оцінюйте модель як до, так і після доопрацювання, щоб підтвердити реальне вдосконалення 5. Переглядайте та вдосконалюйте шаблони чату — системні підказки, формати інструкцій тощо — хороші шаблони дають більш точні та ефективні відповіді. . 👉Ключовий висновок - На прикладі Float16: 3 методи змусити LLM працювати в реальній розробці програмного забезпечення . 1. Вибирайте формати файлів, які відповідають призначенню: • .safetensors → для HuggingFace — відокремлює вагу моделі та токенізатор від архітектури • .gguf → для llama-cpp, Ollama, LM-studio — простіше у використанні 2. Виберіть відповідні формати: • Запобіжники для тонкої настройки • gguf для логічного висновку (особливо з сумісністю з OpenAI API) 3. Структуроване вивід (граматика) покращує якість виведення: • Використовуйте xgrammar, контури, вказівки для формування відповідей • Режим JSON для точного виклику функцій • Визначати користувальницькі граматичні правила для SQL, вибірки з множинним вибором і унікальні формати #SCB10X #Typhoon #Float16 #Bootcamp #AIBootCamp