Animado para anunciar um aumento de $40M para @OpenRouterAI (seed + A), liderado por a16z & Menlo! A inferência LLM será o maior mercado de software do mundo. Nós nos tornamos o plano de controle # 1. Aqui está o que vem a seguir:

Os LLMs merecem seu próprio lugar na web, então é isso que @louis_g_v e eu nos propusemos a construir em abril de 2023. Desde então, vimos uma explosão cambriana em LLMs, com 450+ ao vivo hoje. Pense em nós como o Stripe para LLMs. As empresas normalmente usam de 3 a 6 modelos, alterando-os em uma linha de código, obtendo todos os recursos em um só lugar sem bloqueio.

Tração até agora: • GMV de > US$ 100 milhões, um aumento de 10 vezes em 7 meses • 1M+ desenvolvedores usando nossa API • 60+ hosts de GPU, trilhões de tokens processados semanalmente, ~ 25 ms de sobrecarga de borda

Por que isso está acontecendo? • Os gastos com inferência estão subindo mais rápido do que o número de funcionários • Os modelos têm tempo de inatividade ("quedas de inteligência", como @karpathy os chamavam) e as políticas de dados divergem • Os CTOs precisam de confiabilidade, os CFOs precisam de visibilidade de custos, os CISOs precisam de controles de roteamento As empresas de IA estão se tornando roteadores modelo de fato...

História completa no WSJ: Obrigado a @a16z, @menloventures, @sequoia e aos outros que nos apoiaram em nossa rodada de anjos, incluindo @amasad, @OfficialLoganK, @FEhrsam, @dfinzer, @jweinstein e @figma!