Đối với những người không quen thuộc với việc xuất bản AI; có 3 hội nghị chính diễn ra hàng năm. ICML, ICLR và NeurIPS. Đây là các hội nghị kỹ thuật và tương đương với các tạp chí trong các lĩnh vực khác - chúng là nơi xuất bản chính cho AI. Cạnh tranh để có bài báo tại những hội nghị này hiện đang ở mức độ vô lý, việc được chấp nhận bài báo rất khó khăn, và có rất nhiều lo ngại về quy trình đánh giá, hiện tại khá ồn ào. Một bài báo mạnh mẽ không có lỗi có khoảng 50% cơ hội được chấp nhận, và thường thì một bài báo được nộp với các thay đổi từ người đánh giá nhiều lần cho đến khi nó được chấp nhận. Mặc dù vậy, các bài báo tại những nơi này vẫn là dấu ấn chính của tính hợp pháp trong thế giới AI, và có lẽ vẫn là các chỉ số nghề nghiệp chính cho các nhà nghiên cứu ML (mặc dù điều này đang yếu đi theo ý kiến của tôi khi mà rất nhiều nghiên cứu tại các phòng thí nghiệm tiên phong chưa được công bố). Các bài báo Main Track khác biệt đáng kể so với các bài báo workshop. Main track có quy trình đánh giá đồng nghiệp nghiêm ngặt, căng thẳng. Các bài báo workshop dành cho công việc sơ bộ, cho thấy một số chỉ dẫn về một kết quả thú vị, nhưng không hoàn chỉnh hoặc kết quả không đủ quan trọng cho main track. Chúng chỉ cần được đánh giá bởi nhóm người đánh giá workshop và không xuất hiện trong biên bản. Nhiều bài báo tuyệt vời đã lần đầu tiên xuất hiện trong các hội thảo (ví dụ: grokking) - nhưng các bài báo workshop và main track là những thứ hoàn toàn khác nhau, với một mức độ tác động hoàn toàn khác nhau. Hai công ty duy nhất trong AI phi tập trung có các bài báo main track năm nay là @PrimeIntellect và Pluralis.

Video đánh giá bài nghiên cứu về "Swarm Parallelism" cùng với tác giả @m_ryabinin, Nhà khoa học nghiên cứu xuất sắc @togethercompute hiện đã có ! Liên kết bên dưới 👇 Để có bối cảnh, hầu hết các phương pháp đào tạo phi tập trung hiện nay đều theo các phương pháp kiểu DDP yêu cầu sao chép toàn bộ mô hình trên mỗi nút. Mặc dù thực tiễn cho những người có cụm H100 trong tay, nhưng điều này vẫn nằm ngoài tầm với của phần lớn các nhà đóng góp tiềm năng, đây là lúc SWARM trở nên hữu ích!