các mô hình lớn là những tác nhân tuyệt vời nhưng thường quá lớn, đóng kín, hoặc nhạy cảm để tinh chỉnh ý tưởng: huấn luyện một mô hình nhỏ để tạo bối cảnh cho một mô hình lớn đã đóng băng, đánh giá đầu ra của mô hình lớn, sử dụng điều đó làm phần thưởng cho mô hình nhỏ grpo để tinh chỉnh bối cảnh. thêm thông tin bên dưới