+1 dla "inżynierii kontekstu" w porównaniu do "inżynierii podpowiedzi". Ludzie kojarzą podpowiedzi z krótkimi opisami zadań, które podajesz LLM w codziennym użytkowaniu. Kiedy w każdej aplikacji LLM o przemysłowej mocy, inżynieria kontekstu to delikatna sztuka i nauka wypełniania okna kontekstowego dokładnie tymi informacjami, które są potrzebne do następnego kroku. Nauka, ponieważ zrobienie tego dobrze wymaga opisów zadań i wyjaśnień, przykładów w małej liczbie, RAG, powiązanych (możliwie multimodalnych) danych, narzędzi, stanu i historii, kompresji... Zbyt mało lub w niewłaściwej formie, a LLM nie ma odpowiedniego kontekstu do optymalnej wydajności. Zbyt dużo lub zbyt nieistotne, a koszty LLM mogą wzrosnąć, a wydajność może spaść. Zrobienie tego dobrze jest wysoce nietrywialne. A sztuka, ponieważ chodzi o intuicję prowadzącą w psychologii LLM i duchach ludzi. Oprócz samej inżynierii kontekstu, aplikacja LLM musi: - odpowiednio dzielić problemy na przepływy kontrolne - odpowiednio pakować okna kontekstowe - wysyłać wywołania do LLM o odpowiednim rodzaju i możliwościach - obsługiwać przepływy UIUX generacji-weryfikacji - wiele więcej - zabezpieczenia, bezpieczeństwo, oceny, równoległość, wstępne pobieranie, ... Więc inżynieria kontekstu to tylko mały kawałek wschodzącej grubej warstwy nietrywialnego oprogramowania, które koordynuje indywidualne wywołania LLM (i wiele więcej) w pełne aplikacje LLM. Termin "wrapper ChatGPT" jest zmęczony i naprawdę, naprawdę błędny.