AI Bootcamp: LLM Fine Tuning and Deployment, organisert av SCB 10X og @float16cloud, er avsluttet. Arrangementet delte viktig kunnskap og teknikker for finjustering og praktisk implementering av store språkmodeller (LLM-er). . 👉Key Takeaway - Ledet av Typhoon: 5 tips for å finjustere modeller effektivt . 1. Bruk over 80 % av tiden på dataforberedelse (kvalitet er grunnleggende) 2. Lag minst to evalueringsdatasett: ett må være helt usynlige data 3. Under finjustering, bruk tog- og evalueringssett for å overvåke overtilpasning 4. Evaluer modellen både før og etter finjustering for å bekrefte reell forbedring 5. Gjennomgå og avgrens chat-maler – systemmeldinger, instruksjonsformater osv. – gode maler gir mer nøyaktige og bedre svar . 👉Key Takeaway - Ledet av Float16: 3 teknikker for å få LLM-er til å fungere i faktisk programvareutvikling . 1. Velg filformater som samsvarer med formålet: • .safetensors → for HuggingFace – skiller modellvekter og tokenizer fra arkitektur • .gguf-→ for lama-cpp, Ollama, LM-studio – enklere å bruke 2. Velg formater på riktig måte: • Safetensorer for finjustering • gguf for slutning (spesielt med OpenAI API-kompatibilitet) 3. Strukturert utgang (grammatikk) forbedrer utskriftskvaliteten: • Bruk xgrammatikk, konturer, veiledning for å forme svar • JSON-modus for presise funksjonsanrop • Definer tilpassede grammatikkregler for SQL, flervalgsvalg og unike formater #SCB10X #Typhoon #Float16 #Bootcamp #AIBootCamp