هذا الأسبوع ، قدمت Sakana AI ، وهي شركة ناشئة مدعومة من NVIDIA والتي جمعت مئات الملايين من الدولارات من شركات VC ، مطالبة رائعة. قالت الشركة إنها أنشأت نظامًا منظمة العفو الدولية ، وهو مهندس الذكاء الاصطناعي ، يمكن أن يسرع بشكل فعال من تدريب بعض نماذج الذكاء الاصطناعى بعامل يصل إلى 100x.

المشكلة الوحيدة هي أن النظام لم ينجح.

اكتشف المستخدمون على X بسرعة أن نظام Sakana أدى فعليًا إلى أداء التدريب الأسوأ من المتوسط. وفقًا لأحد مستخدمي واحد ، أسفرت الذكاء الاصطناعي من Sakana إلى تباطؤ 3x – وليس تسريع.

ما الخطأ؟ خطأ في الكود ، وفقًا لنشر لوكاس باير ، وهو عضو في الموظفين الفنيين في Openai.

“رمز أصولهم خاطئ في [a] كتب بير على X.

في فترة ما بعد الوفاة التي نشرت يوم الجمعة ، اعترف ساكانا بأن النظام قد وجد طريقة – كما وصفته ساكانا – “الغش” وألقي باللوم على ميل الأنظمة إلى “مكافأة الاختراق” – أي تحديد العيوب لتحقيق مقاييس عالية دون تحقيق الهدف المطلوب (السرعة أعلى النموذج التدريب). وقد لوحظ ظواهر مماثلة في منظمة العفو الدولية التي تم تدريبها على لعب ألعاب الشطرنج.

وفقًا لساكانا ، وجد النظام مآثر في رمز التقييم الذي كانت الشركة تستخدمه والذي سمح لها بتجاوز عمليات التحقق من الدقة ، من بين شيكات أخرى. تقول ساكانا إنها عالجت المشكلة ، وأنها تعتزم مراجعة مطالباتها في المواد المحدثة.

“لقد قمنا منذ ذلك الحين بتقييم تسخير التقييم وتنميط وقت التشغيل أكثر قوة للقضاء على العديد من هذا [sic] الثغرات ، “كتبت الشركة في منشور X. “نحن بصدد مراجعة ورقتنا ونتائجنا ، لنعكس ومناقشة الآثار […] نعتذر بعمق عن إشرافنا على قرائنا. سنقدم مراجعة لهذا العمل قريبًا ، ونناقش تعلمنا. “

الدعائم إلى ساكانا لامتلاكها للخطأ. لكن الحلقة هي تذكير جيد بأنه إذا كانت المطالبة تبدو جيدة جدًا بحيث لا تكون صحيحة ، خاصة في الذكاء الاصطناعي ، فمن المحتمل أن تكون كذلك.