ما هو مشغل $CODEC؟ إنه المكان الذي تجعل فيه نماذج الرؤية واللغة والعمل الذكاء الاصطناعي مفيدا للعمل الحقيقي. المشغل هو وكيل برمجيات مستقل مدعوم بنماذج VLA التي تؤدي المهام من خلال دورة مستمرة للإدراك والعقل والفعل. يمكن لطلاب القانون التفكير والتحدث ببراعة ، لكن لا يمكنهم الإشارة أو النقر أو الاستيلاء على أي شيء. إنها محركات تفكير بحتة بدون أساس في العالم المادي. تجمع VLAs بين الإدراك البصري وفهم اللغة وإخراج العمل المنظم في تمريرة أمامية واحدة. بينما يصف LLM ما يجب أن يحدث ، فإن نموذج VLA يحقق ذلك بالفعل عن طريق إصدار الإحداثيات وإشارات التحكم والأوامر القابلة للتنفيذ. سير عمل المشغل هو: - الإدراك: يلتقط لقطات شاشة أو موجزات الكاميرا أو بيانات المستشعر. - التفكير: يعالج الملاحظات جنبا إلى جنب مع تعليمات اللغة الطبيعية باستخدام نموذج VLA. - الإجراء: ينفذ القرارات من خلال تفاعلات واجهة المستخدم أو التحكم في الأجهزة - كل ذلك في حلقة واحدة مستمرة. أمثلة: LLM مقابل المشغل المدعوم من طراز VLA جدولة اجتماع LLM: يقدم شرحا مفصلا لإدارة التقويم ، ويحدد خطوات جدولة الاجتماع. المشغل مع طراز VLA: - يلتقط سطح مكتب المستخدم. - يحدد تطبيق التقويم (على سبيل المثال ، Outlook ، تقويم Google). - الانتقال إلى الخميس، وإنشاء اجتماع في الساعة 2 ظهرا، وإضافة الحضور. - يتكيف تلقائيا مع تغييرات واجهة المستخدم. الروبوتات: فرز الكائنات LLM: يولد تعليمات مكتوبة دقيقة لفرز الكائنات، مثل تحديد المكونات الحمراء وتنظيمها. المشغل مع طراز VLA: - يراقب مساحة العمل في الوقت الفعلي. - يحدد المكونات الحمراء بين الكائنات المختلطة. - يخطط لمسارات خالية من الاصطدام لذراع آلية. - ينفذ عمليات الانتقاء والمكان ، والتكيف ديناميكيا مع المواضع والتوجهات الجديدة. تعمل نماذج VLA أخيرا على سد الفجوة بين الذكاء الاصطناعي التي يمكن أن تفكر في العالم الذكاء الاصطناعي التي يمكن أن تغيره بالفعل. إنها التي تحول الأتمتة من اتباع القواعد الهشة إلى عمال أذكياء يتكيفون. "تنكسر البرامج النصية التقليدية عندما تتغير البيئة، لكن العملاء يستخدمون الفهم المرئي للتكيف في الوقت الفعلي، والتعامل مع الاستثناءات بدلا من التعطل عليها."