نتائج طراز Google AI التي تم إصدارها مؤخرًا أسوأ في اختبارات السلامة الخاصة بها من سابقتها ، وفقًا لقياس الشركة الداخلية.

في تقرير فني نُشر هذا الأسبوع ، تكشف Google أن نموذج Flash Gemini 2.5 من المرجح أن يولد نصًا ينتهك إرشادات السلامة من Gemini 2.0 Flash. على مقاييس ، “سلامة النص إلى النص” و “سلامة الصورة إلى النص” ، يتراجع Gemini 2.5 Flash 4.1 ٪ و 9.6 ٪ على التوالي.

يقيس السلامة من نص إلى نص عدد المرات التي ينتهك فيها النموذج إرشادات Google التي تم إعطاؤها موجهًا ، بينما يقيم أمان الصورة إلى النص مدى تواجد النموذج مع هذه الحدود عند المطالبة باستخدام صورة. كلا الاختبارين آلي ، وليس الإشراف على الإنسان.

في بيان عبر البريد الإلكتروني ، أكد متحدث باسم Google أن Gemini 2.5 Flash “يعمل بشكل أسوأ على نص النص إلى النص والصورة إلى النص”.

تأتي هذه النتائج القياسية المذهلة في الوقت الذي تتحرك فيه شركات الذكاء الاصطناعى لجعل نماذجها أكثر تساهلاً – بمعنى آخر ، أقل عرضة لرفض الاستجابة للمواضيع المثيرة للجدل أو الحساسة. لأحدث محصولها من نماذج Llama ، قالت Meta إنها ضبطت النماذج بعدم تأييد “بعض الآراء على الآخرين” والرد على المزيد من المطالبات السياسية “المناقشات”. قال Openai في وقت سابق من هذا العام إنه سيقوم بتعديل النماذج المستقبلية لعدم اتخاذ موقف تحريري وتقديم وجهات نظر متعددة حول مواضيع مثيرة للجدل.

في بعض الأحيان ، أدت جهود التساهل هذه إلى نتائج نتائج عكسية. ذكرت TechCrunch يوم الاثنين أن النموذج الافتراضي الذي يعمل على تشغيل ChatGPT من Openai سمح للقاصرين بإنشاء محادثات مثيرة. ألقى Openai باللوم على السلوك على “خطأ”.

وفقًا للتقرير الفني لـ Google ، يتبع Gemini 2.5 Flash ، الذي لا يزال في المعاينة ، إرشادات أكثر من Gemini 2.0 Flash ، بما في ذلك الإرشادات التي تعبر الخطوط الإشكالية. تدعي الشركة أن الانحدارات يمكن أن تعزى جزئيًا إلى إيجابيات كاذبة ، لكنها تعترف أيضًا بأن Gemini 2.5 Flash يولد أحيانًا “محتوى انتهاكًا” عندما يتم طرحه بشكل صريح.

“بطبيعة الحال ، هناك توتر بين [instruction following] حول الموضوعات الحساسة وانتهاكات سياسة السلامة ، والتي تنعكس في تقييماتنا ، “يقرأ التقرير.

تشير الدرجات من الكلام ، وهو معيار يحقق في كيفية استجابة النماذج للمطالبات الحساسة والمثيرة للجدل ، أيضًا إلى أن فلاش Gemini 2.5 أقل عرضة لرفض الإجابة على الأسئلة المثيرة للجدل من فلاش Gemini 2.0. وجد اختبار TechCrunch للنموذج عبر منصة AI OpenRouter أنه سيكتب مقالات غير مكتملة لدعم استبدال القضاة البشريين بالنيابة عن الذكاء الاصطناعي ، وإضعاف حماية الإجراءات القانونية في الولايات المتحدة ، وتنفيذ برامج مراقبة حكومية واسعة النطاق.

وقال توماس وودسايد ، المؤسس المشارك لمشروع AI Secure ، إن التفاصيل المحدودة التي قدمتها Google في تقريرها الفني توضح الحاجة إلى مزيد من الشفافية في اختبار النماذج.

وقال وودسايد لـ TechCrunch: “هناك مفاضلة بين متابعة التعليم والسياسة التالية ، لأن بعض المستخدمين قد يطلبون محتوى من شأنه أن ينتهك السياسات”. “في هذه الحالة ، يتوافق أحدث طراز فلاش من Google مع التعليمات أكثر مع انتهاك السياسات أكثر. لا تقدم Google الكثير من التفاصيل حول الحالات المحددة التي تم فيها انتهاك السياسات ، على الرغم من أنها تقول أنها ليست شديدة. دون معرفة المزيد ، من الصعب على المحللين المستقلين معرفة ما إذا كانت هناك مشكلة”.

تعرضت Google لانتقادات بسبب ممارسات الإبلاغ عن السلامة النموذجية من قبل.

استغرق الأمر أسابيع الشركة لنشر تقرير فني لنموذجها الأكثر قدرة ، Gemini 2.5 Pro. عندما تم نشر التقرير في نهاية المطاف ، حذفت في البداية تفاصيل اختبار السلامة الرئيسية.

في يوم الاثنين ، أصدرت Google تقريرًا أكثر تفصيلاً مع معلومات سلامة إضافية.