Vui mừng thông báo tăng 40 triệu đô la cho @OpenRouterAI (hạt giống + A), dẫn đầu bởi a16z & Menlo! Suy luận LLM sẽ là thị trường phần mềm lớn nhất thế giới. Chúng tôi đã trở thành mặt phẳng điều khiển #1. Đây là những gì tiếp theo:

Các mô hình ngôn ngữ lớn (LLMs) xứng đáng có một vị trí riêng trên web, đó là điều mà @louis_g_v và tôi đã bắt tay xây dựng vào tháng 4 năm 2023. Kể từ đó, chúng tôi đã chứng kiến một cuộc bùng nổ Cambrian trong các LLM, với hơn 450 mô hình đang hoạt động hôm nay. Hãy nghĩ về chúng tôi như Stripe cho các LLM. Các công ty thường sử dụng 3-6 mô hình, thay đổi chúng chỉ bằng một dòng mã, nhận tất cả các tính năng ở một nơi mà không bị ràng buộc.

Lực kéo cho đến nay: • > 100 triệu GMV, tăng gấp 10 lần trong 7 tháng • 1 triệu + nhà phát triển sử dụng API của chúng tôi • 60+ máy chủ GPU, hàng nghìn tỷ mã thông báo được xử lý hàng tuần, chi phí cạnh ~ 25 ms

Tại sao điều này lại xảy ra? • Chi tiêu cho suy diễn đang tăng nhanh hơn số lượng nhân viên • Các mô hình có thời gian ngừng hoạt động ("suy giảm trí tuệ," như @karpathy đã gọi) và các chính sách dữ liệu khác nhau • CTO cần độ tin cậy, CFO cần sự minh bạch về chi phí, CISO cần kiểm soát định tuyến Các công ty AI đang trở thành những bộ định tuyến mô hình thực tế...

Câu chuyện đầy đủ trong WSJ: Cảm ơn @a16z, @menloventures, @sequoia, và những người khác đã ủng hộ chúng tôi trong vòng gọi vốn thiên thần, bao gồm @amasad, @OfficialLoganK, @FEhrsam, @dfinzer, @jweinstein, và @figma!