Animado para anunciar um aumento de US $ 40 milhões para @OpenRouterAI (semente + A), liderado por a16z & Menlo! A inferência LLM será o maior mercado de software do mundo. Nós nos tornamos o avião de controle #1. Veja o que vem a seguir:

Os LLMs merecem o seu próprio espaço na web, por isso foi isso que @louis_g_v e eu decidimos construir em abril de 2023. Desde então, vimos uma explosão cambriana nos LLMs, com mais de 450 ativos hoje. Pense em nós como o Stripe para LLMs. As empresas normalmente usam de 3 a 6 modelos, mudando-os em uma linha de código, obtendo todas as funcionalidades em um só lugar, sem lock-in.

Tração até agora: • GMV de >$100 milhões, aumento de 10x em 7 meses • 1M+ desenvolvedores usando nossa API • 60+ hosts GPU, trilhões de tokens processados semanalmente, ~25 ms de sobrecarga de borda

Por que isso está a acontecer? • Os gastos com inferência estão a aumentar mais rapidamente do que o número de funcionários • Os modelos têm períodos de inatividade ("apagões de inteligência", como os chamou @karpathy) e as políticas de dados divergem • Os CTOs precisam de fiabilidade, os CFOs precisam de visibilidade de custos, os CISOs precisam de controles de roteamento As empresas de IA estão a tornar-se, de facto, roteadores de modelos...

História completa no WSJ: Obrigado a @a16z, @menloventures, @sequoia e aos outros que nos apoiaram na nossa rodada de anjos, incluindo @amasad, @OfficialLoganK, @FEhrsam, @dfinzer, @jweinstein e @figma!