أصدر مركز غير ربحية لسلامة الذكاء الاصطناعى (CAIS) و Scale AI ، وهي شركة توفر عددًا من خدمات تطوير البيانات وخدمات تطوير الذكاء الاصطناعى ، معيارًا جديدًا صعبًا لأنظمة Frontier AI.

يشمل المعيار ، الذي يسمى امتحان الإنسانية الأخير ، الآلاف من الأسئلة الجماعية التي تلامس مواضيع مثل الرياضيات والإنسانية والعلوم الطبيعية. لجعل التقييم أكثر صرامة ، تكون الأسئلة بتنسيقات متعددة ، بما في ذلك التنسيقات التي تتضمن الرسوم البيانية والصور.

في دراسة أولية ، لم يتمكن نظام الذكاء الاصطناعى الرائد المتاح للجمهور بشكل أفضل من 10 ٪ في امتحان الإنسانية الأخير.

يقول CAIS و Scale AI إنهما يخططون لفتح المعيار لمجتمع الأبحاث حتى يتمكن الباحثون من “التعمق في الاختلافات” وتقييم نماذج AI الجديدة.