أجرينا تجربة عشوائية مضبوطة لمعرفة مقدار أدوات ترميز الذكاء الاصطناعي التي تسرع مطوري المصادر المفتوحة ذوي الخبرة. فاجأتنا النتائج: اعتقد المطورون أنهم كانوا أسرع بنسبة 20٪ مع أدوات الذكاء الاصطناعي ، لكنهم كانوا في الواقع أبطأ بنسبة 19٪ عندما كان لديهم إمكانية الوصول إلى الذكاء الاصطناعي مما كانوا عليه عندما لم يكن لديهم ذلك.

قمنا بتجنيد 16 مطورا مفتوح المصدر من ذوي الخبرة للعمل على 246 مهمة حقيقية في مستودعاتهم الخاصة (متوسط 22 ألف + نجوم ، 1 مليون + سطر من التعليمات البرمجية). قمنا بتعيين كل مهمة بشكل عشوائي إما للسماح ب الذكاء الاصطناعي (عادة Cursor Pro w / Claude 3.5 / 3.7) أو عدم السماح بمساعدة الذكاء الاصطناعي.

في بداية الدراسة ، توقع المطورون أن يتم تسريعهم بنسبة 24٪. بعد القيام بالعمل فعليا ، قدروا أنه تم تسريعهم بنسبة 20٪. لكن اتضح أنها تباطأت بالفعل بنسبة 19٪.

عندما يسمح الذكاء الاصطناعي ، يقضي المطورون وقتا أقل في الترميز والبحث عن المعلومات بنشاط ، وبدلا من ذلك يقضون وقتا في مطالبة الذكاء الاصطناعي ، وانتظار / مراجعة مخرجات الذكاء الاصطناعي ، والخمول. لا نجد سببا واحدا للتباطؤ - إنه مدفوع بمجموعة من العوامل.

لماذا أجرينا هذه الدراسة؟ معايير عامل الذكاء الاصطناعي لها قيود - فهي قائمة بذاتها ، وتستخدم التسجيل الخوارزمي ، وتفتقر إلى التفاعل البشري المباشر. هذا يمكن أن يجعل من الصعب استنتاج تأثير العالم الحقيقي بشكل مباشر. إذا أردنا نظاما للإنذار المبكر حول ما إذا كان البحث والتطوير في الذكاء الاصطناعي يتم تسريعه بواسطة الذكاء الاصطناعي نفسه ، أو حتى يتم تشغيله آليا ، فسيكون من المفيد أن نكون قادرين على قياس ذلك مباشرة في تجارب المهندسين في العالم الحقيقي ، بدلا من الاعتماد على الوكلاء مثل المعايير أو حتى المعلومات الأكثر ضجيجا مثل الحكايات.

ماذا نأخذ؟ 1. يبدو من المحتمل أنه بالنسبة لبعض الإعدادات المهمة ، لم تزيد أدوات الذكاء الاصطناعي الحديثة من الإنتاجية (وقد تقللها في الواقع). 2. التقارير الذاتية عن التسريع غير موثوقة - لفهم تأثير الذكاء الاصطناعي على الإنتاجية ، نحتاج إلى تجارب في البرية.