Mengapa Anda harus berhenti mengerjakan penelitian RL dan sebagai gantinya mengerjakan produk // Teknologi yang membuka pergeseran penskalaan besar dalam AI adalah internet, bukan transformator Saya pikir sudah diketahui bahwa data adalah hal terpenting dalam AI, dan juga bahwa para peneliti memilih untuk tidak mengerjakannya. ... Apa artinya mengerjakan data (dengan cara yang dapat diskalakan)? Internet menyediakan sumber data yang kaya berlimpah, yang beragam, menyediakan kurikulum alami, mewakili kompetensi yang benar-benar dipedulikan orang, dan merupakan teknologi yang layak secara ekonomi untuk diterapkan dalam skala besar - itu menjadi pelengkap sempurna untuk prediksi token berikutnya dan merupakan sup primordial bagi AI untuk lepas landas. Tanpa transformator, sejumlah pendekatan bisa lepas landas, kita mungkin bisa memiliki CNN atau model ruang negara pada tingkat GPT-4.5. Tetapi belum ada peningkatan dramatis dalam model dasar sejak GPT-4. Model penalaran sangat bagus dalam domain sempit, tetapi tidak lompatan besar seperti GPT-4 pada Maret 2023 (lebih dari 2 tahun yang lalu...) Kami memiliki sesuatu yang hebat dengan pembelajaran penguatan, tetapi ketakutan saya yang mendalam adalah bahwa kami akan mengulangi kesalahan masa lalu (RL era 2015-2020) dan melakukan penelitian RL yang tidak masalah. Dengan cara internet adalah ganda dari prapelatihan yang diawasi, apa yang akan menjadi ganda RL yang akan mengarah pada kemajuan besar-besaran seperti GPT-1 -> GPT-4? Saya pikir itu terlihat seperti desain bersama produk penelitian.