Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Я був одним із 16 розробників у цьому дослідженні. Я хотів висловити свою думку про причини та стратегії пом'якшення наслідків уповільнення роботи розробників.
Я скажу як гачок «навіщо вас слухати?», що я відчув прискорення штучного інтелекту на -38% у призначених мені питаннях. Я думаю, що прозорість допомагає громаді.


11 лип., 01:23
Ми провели рандомізоване контрольоване дослідження, щоб з'ясувати, наскільки інструменти кодування зі штучним інтелектом прискорюють роботу досвідчених розробників з відкритим вихідним кодом.
Результати нас здивували: розробники думали, що вони на 20% швидші з інструментами штучного інтелекту, але насправді вони були на 19% повільнішими, коли мали доступ до ШІ, ніж коли їх не було.

По-перше, я думаю, що прискорення ШІ дуже слабо корелює зі здібностями будь-кого як розробника. Всі розробники в цьому дослідженні дуже хороші. Я думаю, що це більше пов'язано з попаданням у режими відмови, як у здібностях LLM, так і в робочому процесі людини. Я працюю з безліччю чудових розробників з попередньої підготовки, і я думаю, що люди стикаються з багатьма з тих самих проблем.
Ми любимо говорити, що LLM – це інструменти, але ставмося до них скоріше як до чарівної кулі.
Буквально будь-який розробник може підтвердити задоволення від того, що нарешті налагодив складну проблему. LLM – це велика кнопка швидкого доступу до дофаміну, яка може вирішити вашу проблему. Ви постійно натискаєте кнопку, яка має 1% шансів все виправити? Це набагато приємніше, ніж виснажлива альтернатива, принаймні для мене.
Я думаю, що випадки надмірного використання LLM можуть траплятися, тому що це легко оптимізувати для сприйняття задоволення, а не часу на вирішення проблеми під час роботи.
Я натискаю tab у курсорі на 5 годин замість налагодження на 1:
По-третє, дуже легко відволіктися під час простою, поки генеруються LLM. Економіка уваги соціальних медіа жорстока, і я думаю, що люди витрачають 30 хвилин на прокручування, «чекаючи» на своє 30-секундне покоління.
Все, що я можу сказати з цього приводу, це те, що ми повинні знати власні підводні камені і намагатися продуктивно заповнити цей час LLM-генерації:
- Якщо завдання вимагає високої зосередженості, витратьте цей час або на роботу над підзавданням, або на роздуми над подальшими питаннями. Навіть якщо модель одноразово задасть ваше питання, що ще я не розумію?
- Якщо завдання вимагає недостатньої зосередженості, тим часом виконайте ще одне невелике завдання (відповість на електронний лист/провисання, прочитайте або відредагуйте ще один абзац тощо).
Як завжди, у цьому допомагають невеликі кроки цифрової гігієни (блокувальники сайтів, телефон на dnd тощо). Вибачте, що я грампі, але у мене це працює :)
Деякі заключні твердження:
- METR – чудова організація для співпраці, і вони є сильними науковцями. Мені сподобалося як брати участь у цьому дослідженні, так і читати їхні результати.
- Я не якийсь гуру LLM, який намагається проповідувати. Подумайте про це як про те, що я публікую особистий запис у щоденнику і сподіваюся, що інші зможуть отримати користь від мого самоаналізу.
1,96M
Найкращі
Рейтинг
Вибране