+1 untuk "rekayasa konteks" di atas "rekayasa prompt". Orang-orang mengaitkan petunjuk dengan deskripsi tugas singkat yang akan Anda berikan LLM dalam penggunaan sehari-hari. Ketika berada di setiap aplikasi LLM dengan kekuatan industri, rekayasa konteks adalah seni dan ilmu halus untuk mengisi jendela konteks dengan informasi yang tepat untuk langkah selanjutnya. Sains karena melakukan ini dengan benar melibatkan deskripsi dan penjelasan tugas, beberapa contoh bidikan, RAG, data terkait (mungkin multimodal), alat, keadaan dan sejarah, pemadatan... Terlalu sedikit atau bentuk yang salah dan LLM tidak memiliki konteks yang tepat untuk kinerja yang optimal. Terlalu banyak atau terlalu tidak relevan dan biaya LLM mungkin naik dan kinerja mungkin turun. Melakukan ini dengan baik sangat tidak sepele. Dan seni karena intuisi yang membimbing seputar psikologi LLM dari roh orang. Selain rekayasa konteks itu sendiri, aplikasi LLM harus: - memecah masalah tepat menjadi alur kontrol - Kemas jendela konteks dengan tepat - mengirimkan panggilan ke LLM dengan jenis dan kemampuan yang tepat - menangani alur UIUX verifikasi generasi - Lebih banyak lagi - pagar pembatas, keamanan, evals, paralelisme, prefetching, ... Jadi rekayasa konteks hanyalah salah satu bagian kecil dari lapisan tebal perangkat lunak non-sepele yang muncul yang mengoordinasikan panggilan LLM individu (dan banyak lagi) ke dalam aplikasi LLM penuh. Istilah "pembungkus ChatGPT" melelahkan dan benar-benar salah.