Este artículo de @PrimeIntellect merece mucha más atención. No puedo esperar a Intellect-3

pero lo bueno de @PrimeIntellect es la disponibilidad de instancias puntuales: ¡hoy obtuve un nodo con 8xH200 por solo $ 8 / hora! Mostraré cómo configuro rápidamente la inferencia moonshotai / Kimi-K2-Instruct usando vllm 1. Después de obtener acceso SSH a su pod (espere unos 10 minutos), cree su proyecto e instale las bibliotecas necesarias: Actualización de APT & Instalación de APT Htop TMUX UV Init UV Venv -P 3.12 fuente .venv/bin/activate exportar UV_TORCH_BACKEND=auto exportar HF_HUB_ENABLE_HF_TRANSFER="1" UV pip install vllm blobfile datasets huggingface_hub hf_transfer Después de eso, abra una sesión de tmux 2. Para comenzar a alojar vllm, simplemente use vllm serve: vllm serve moonshotai/Kimi-K2-Instruct --trust-remote-code --dtype bfloat16 --max-model-len 12000 --max-num-seqs 8 --quantization="fp8" --tensor_parallel_size 8 La descarga real del punto de control es difícil, ya que incluso con hf_transfer tomará 1 hora (¿alguien conoce una solución más rápida o montar el punto de control descargado de alguna manera?) 3. Luego, en un nuevo panel de tmux, instala cloudflare quick tunnel e inícialo Instalar Cloudflared Túnel cloudflared --url ¡Eso es básicamente todo! Un servidor compatible con OpenAI estará disponible en la URL proporcionada por Cloudflare, en mi caso es y solo uso mi envoltorio simple sobre el cliente openai para generar muchos datos sintéticos a través de él

mi charla completa de la feria mundial AIE ya está disponible :)

Nvidia B200s por $ 1.53 / hora en 🫡 el lugar

Nvidia B200s por $ 1.53 / hora en 🫡 el lugar

Únase a nosotros en Berlín el 18 de julio para nuestro Prime Intellect Meetup

Me cansé de configurar la autenticación manualmente: prime-cli ahora es zero-config