Я был одним из 16 разработчиков в этом исследовании. Я хотел высказать свое мнение о причинах и стратегиях смягчения замедления разработки. Скажу в качестве крючка "почему вам стоит меня слушать?", что я испытал -38% ускорения ИИ по своим назначенным задачам. Я думаю, что прозрачность помогает сообществу.

Во-первых, я думаю, что ускорение ИИ очень слабо связано с чьими-либо способностями как разработчика. Все разработчики в этом исследовании очень хороши. Я думаю, это больше связано с попаданием в режимы неудачи, как в способности LLM, так и в рабочем процессе человека. Я работаю с множеством удивительных разработчиков предобучения, и я думаю, что люди сталкиваются со многими из тех же проблем. Мы любим говорить, что LLM — это инструменты, но обращаемся с ними больше как с волшебной пилюлей. Любой разработчик может подтвердить удовлетворение от окончательной отладки сложной проблемы. LLM — это большая кнопка сокращения дофамина, которая может решить вашу проблему с одного раза. Вы продолжаете нажимать кнопку, которая имеет 1% шанс все исправить? Это гораздо приятнее, чем изнурительная альтернатива, по крайней мере, для меня.

Я думаю, что случаи чрезмерного использования LLM могут возникать, потому что легко оптимизировать восприятие удовольствия, а не время до решения, работая. Я нажимаю табуляцию в курсоре в течение 5 часов вместо отладки в течение 1:

В-третьих, очень легко отвлечься в ожидании, пока LLM генерирует. Экономика внимания в социальных сетях жестока, и я думаю, что люди тратят 30 минут на пролистывание, пока "ждут" своей 30-секундной генерации. Все, что я могу сказать по этому поводу, это то, что мы должны знать свои собственные слабости и пытаться заполнять это время генерации LLM продуктивно: - Если задача требует высокой концентрации, потратьте это время на работу над подзадачей или на размышления о последующих вопросах. Даже если модель сразу ответила на ваш вопрос, что еще я не понимаю? - Если задача требует низкой концентрации, выполните другую небольшую задачу в это время (ответьте на электронное письмо/Slack, прочитайте или отредактируйте другой абзац и т.д.). Как всегда, небольшие шаги по цифровой гигиене помогают в этом (блокировщики сайтов, телефон в режиме "Не беспокоить" и т.д.). Извините, что я как старик, но это работает для меня :)

Некоторые заключительные замечания: - METR — замечательная организация для сотрудничества, и они сильные ученые. Мне понравилось как участвовать в этом исследовании, так и читать их результаты. - Я не какой-то гуру LLM, пытающийся проповедовать. Рассматривайте это как публикацию личной записи в дневнике, надеясь, что другие смогут извлечь пользу из моей интроспекции.