AI Bootcamp: LLM Fine Tuning and Deployment, organiserad av SCB 10X och @float16cloud, har framgångsrikt avslutats. Evenemanget delade med sig av viktiga kunskaper och tekniker för att finjustera och praktiskt använda stora språkmodeller (LLM). . 👉Key Takeaway - Led by Typhoon: 5 tips för att finjustera modeller effektivt . 1. Lägg över 80 % av tiden på förberedelse av data (kvalitet är grundläggande) 2. Skapa minst två utvärderingsdatauppsättningar: en måste vara helt osedd data 3. Under finjustering, använd tåg- och utvärderingssatser för att övervaka överanpassning 4. Utvärdera modellen både före och efter finjustering för att bekräfta verklig förbättring 5. Granska och förfina chattmallar – systemanvisningar, instruktionsformat etc. – bra mallar ger mer exakta och bättre presterande svar . 👉Key Takeaway - Leds av Float16: 3 tekniker för att få LLM:er att fungera i faktisk mjukvaruutveckling . 1. Välj filformat som matchar syftet: • .safetensors → för HuggingFace – separerar modellvikter och tokenizer från arkitekturen • .gguf → för lama-cpp, Ollama, LM-studio – lättare att använda 2. Välj format på lämpligt sätt: • Skyddsanordningar för finjustering • gguf för inferens (särskilt med OpenAI API-kompatibilitet) 3. Strukturerad produktion (grammatik) förbättrar utskriftskvaliteten: • Använd xgrammatik, konturer, vägledning för att forma svaren. • JSON-läge för exakt funktionsanrop • Definiera anpassade grammatikregler för SQL, flervalsval och unika format #SCB10X #Typhoon #Float16 #Bootcamp #AIBootCamp