我曾是這項研究中的16位開發者之一。我想談談我對開發者減速的原因和緩解策略的看法。 我會說作為一個「為什麼要聽你的?」的引子,我在我負責的問題上經歷了-38%的AI加速。我認為透明度有助於社區。
METR
METR7月11日 01:23
我們進行了一項隨機對照試驗,以了解 AI 編碼工具對經驗豐富的開源開發者的加速效果。 結果讓我們感到驚訝:開發者認為使用 AI 工具的速度提高了 20%,但實際上他們在使用 AI 工具時的速度比沒有使用時慢了 19%。
首先,我認為 AI 加速與任何開發者的能力之間的相關性非常弱。這項研究中的所有開發者都非常優秀。我認為這更多地與陷入失敗模式有關,無論是在 LLM 的能力還是人類的工作流程中。我與許多出色的預訓練開發者合作,我認為人們面臨著許多相同的問題。 我們喜歡說 LLM 是工具,但卻更像是魔法子彈。 幾乎任何開發者都可以證明,最終調試一個棘手問題的滿足感。LLM 是一個巨大的多巴胺快捷鍵,可能一次性解決你的問題。你會不斷按下那個有 1% 機率能解決一切的按鈕嗎?對我來說,這比艱苦的替代方案要愉快得多。
我認為過度使用LLM的情況可能會發生,因為在工作時,優化感知的享受比解決問題的時間更容易。 我在游標上按了5小時的Tab,而不是花1小時進行除錯。
第三,當 LLM 生成時,很容易在空檔中分心。社交媒體的注意力經濟非常殘酷,我認為人們在 "等待" 他們的 30 秒生成時,會花 30 分鐘在滑動屏幕上。 我能說的就是,我們應該了解自己的陷阱,並試著在這段 LLM 生成的時間內有效利用: - 如果任務需要高度專注,利用這段時間來處理子任務或思考後續問題。即使模型一次性回答了你的問題,我還不明白什麼呢? - 如果任務需要低度專注,則可以在此期間做其他小任務(回覆電子郵件/Slack,閱讀或編輯另一段文字等)。 一如既往,小的數位衛生步驟有助於這一點(網站封鎖器,手機設置為勿擾等)。抱歉讓我聽起來像個老古板,但這對我來說有效 :)
一些最後的聲明: - METR 是一個很棒的組織,與之合作非常愉快,他們是優秀的科學家。我喜歡參與這項研究並閱讀他們的結果。 - 我不是什麼 LLM 大師在這裡講道。把這當作我發表的一篇個人日記,希望其他人能從我的反思中受益。
1.72M