lý do mà phân tích llm (và quy định, và PMing) khó khăn* là vì các KÍCH THƯỚC liên quan liên tục thay đổi với mỗi thế hệ mô hình tiên tiến; không chỉ đơn giản là đặt trục x hoặc y của bạn ở thang log và theo dõi các quy luật tỷ lệ, bạn thực sự phải làm việc để suy nghĩ về cách mà các mô hình khác nhau về cấu trúc trong năm 2025 so với 2024 so với 2023 và cứ thế tiếp tục ghĩa là mọi người tập trung vào elo trong 2 năm, elo bị lợi dụng và mất uy tín mọi người tập trung vào giá mỗi token trong 3 năm, các mô hình lý luận có sự biến động từ 10-40 lần trong số token đầu ra cho mỗi nhiệm vụ, giá mỗi token mất ý nghĩa thu thập dữ liệu tùy thích nhưng nếu bạn chỉ thu thập chuỗi thời gian nguyên vẹn thì bạn có thể mất đi cái nhìn tổng thể *(và tại sao những phát biểu như “kỹ sư ai không phải là một thứ vì tất cả các kỹ sư phần mềm đều là kỹ sư ai” là sự tự an ủi và sẽ không bao giờ đúng ngoại trừ trong ý nghĩa tầm thường nhất)
Scott Huston
Scott Huston08:30 22 thg 7
Có bảng tính công khai nào về tất cả các mô hình LLM hàng đầu từ các công ty khác nhau cho thấy giá cả, điểm chuẩn, điểm elo trong đấu trường, v.v. không?
9,9K