AI Bootcamp: LLM Fine Tuning and Deployment, organizado pela SCB 10X e @float16cloud, foi concluído com sucesso. O evento compartilhou conhecimentos e técnicas cruciais sobre ajuste fino e implantação prática de Large Language Models (LLMs). . 👉Takeaway chave - Liderado pelo Typhoon: 5 dicas para ajustar modelos de forma eficaz . 1. Gaste mais de 80% do tempo na preparação de dados (a qualidade é fundamental) 2. Crie pelo menos dois conjuntos de dados de avaliação: um deve ser dados totalmente invisíveis 3. Durante o ajuste fino, use conjuntos de treinamento e avaliação para monitorar o sobreajuste 4. Avalie o modelo antes e depois do ajuste fino para confirmar a melhoria real 5. Revise e refine os modelos de bate-papo - prompts do sistema, formatos de instrução, etc. - bons modelos geram respostas mais precisas e com melhor desempenho . 👉Takeaway chave - Liderado por Float16: 3 técnicas para fazer LLMs funcionarem no desenvolvimento de software real . 1. Escolha formatos de arquivo que correspondam à finalidade: • .safetensors → para HuggingFace — separa os pesos do modelo e o tokenizer da arquitetura • .gguf → para llama-cpp, Ollama, LM-studio - mais fácil de usar 2. Selecione os formatos adequadamente: • Safetensors para ajuste fino • gguf para inferência (especialmente com compatibilidade com API OpenAI) 3. A saída estruturada (gramática) melhora a qualidade da saída: • Use xgrammar, esboços, orientação para moldar as respostas • Modo JSON para chamada de função precisa • Defina regras gramaticais personalizadas para SQL, seleções de múltipla escolha e formatos exclusivos #SCB10X #Typhoon #Float16 #Bootcamp #AIBootCamp