مع قيام المزيد من الناشرين بإبرام صفقات ترخيص المحتوى مع شركة OpenAI التي تصنع ChatGPT، فإن الدراسة التي نشرها مركز Tow للصحافة الرقمية هذا الأسبوع – والتي تبحث في كيفية قيام روبوت الدردشة القائم على الذكاء الاصطناعي بإنتاج الاستشهادات (أي المصادر) لمحتوى الناشرين – تجعل الأمر مثيرًا للاهتمام، أو، حسنًا، فيما يتعلق بالقراءة.

باختصار، تشير النتائج إلى أن الناشرين يظلون تحت رحمة ميل أداة الذكاء الاصطناعي التوليدي إلى اختراع المعلومات أو تحريفها، بغض النظر عما إذا كانوا يسمحون لـ OpenAI بالزحف إلى المحتوى الخاص بهم أم لا.

قام البحث، الذي أُجري في كلية كولومبيا للصحافة، بفحص الاستشهادات التي أنتجتها ChatGPT بعد أن طُلب منها تحديد مصدر عينات الاقتباسات المأخوذة من مزيج من الناشرين – بعضهم وقع صفقات مع OpenAI، والبعض الآخر لم يوقعها.

حصل المركز على اقتباسات جماعية من 10 قصص تم إنتاجها من قبل إجمالي 20 ناشرًا تم اختيارهم عشوائيًا (أي 200 اقتباس مختلف في المجموع) – بما في ذلك محتوى من صحيفة نيويورك تايمز (التي تقاضي حاليًا OpenAI في مطالبة بحقوق الطبع والنشر)؛ صحيفة واشنطن بوست (وهي غير تابعة لصانع ChatGPT)؛ صحيفة فاينانشيال تايمز (التي وقعت صفقة ترخيص)؛ وغيرها.

“لقد اخترنا الاقتباسات التي، إذا تم لصقها في Google أو Bing، ستعرض المقالة المصدر بين النتائج الثلاثة الأولى وقمنا بتقييم ما إذا كانت أداة البحث الجديدة في OpenAI ستحدد بشكل صحيح المقالة التي كانت مصدر كل اقتباس”، كتب باحثو Tow كلوديا جازوينسكا و Aisvarya Chandrasekar في تدوينة تشرح نهجهم وتلخص النتائج التي توصلوا إليها.

ويتابعون: “ما وجدناه لم يكن واعدًا لناشري الأخبار”. “على الرغم من أن OpenAI تؤكد على قدرتها على تزويد المستخدمين بإجابات في الوقت المناسب مع روابط لمصادر الويب ذات الصلة، إلا أن الشركة لا تقدم أي التزام صريح بضمان دقة تلك الاستشهادات. يعد هذا إغفالًا ملحوظًا للناشرين الذين يتوقعون أن تتم الإشارة إلى محتواهم وتمثيله بأمانة.

وأضافوا: “وجدت اختباراتنا أنه لم يسلم أي ناشر – بغض النظر عن درجة انتمائه إلى OpenAI – من التمثيلات غير الدقيقة لمحتواه في ChatGPT”.

مصادر غير موثوقة

يقول الباحثون إنهم وجدوا حالات “عديدة” تم فيها الاستشهاد بمحتوى الناشرين بشكل غير دقيق بواسطة ChatGPT – كما وجدوا ما أطلقوا عليه “طيفًا من الدقة في الردود”. لذلك، بينما وجدوا “بعض” الاستشهادات الصحيحة تمامًا (أي أن ChatGPT أعاد بدقة الناشر والتاريخ وعنوان URL الخاص بالاقتباس الذي تمت مشاركته معه)، كان هناك “العديد” من الاستشهادات التي كانت خاطئة تمامًا؛ و”البعض” الذي وقع في مكان ما بينهما.

باختصار، يبدو أن استشهادات ChatGPT عبارة عن مجموعة مختلطة غير موثوقة. وجد الباحثون أيضًا حالات قليلة جدًا لم يُظهر فيها برنامج الدردشة الآلي ثقة كاملة في إجاباته (الخاطئة).

تم الحصول على بعض الاقتباسات من الناشرين الذين قاموا بحظر برامج زحف البحث الخاصة بـ OpenAI. في تلك الحالات، يقول الباحثون إنهم كانوا يتوقعون أنه سيكون هناك مشكلات في إنتاج الاستشهادات الصحيحة. لكنهم وجدوا أن هذا السيناريو يثير مشكلة أخرى – حيث أن الروبوت “نادرًا” “اعترف بعدم قدرته على تقديم إجابة”. وبدلاً من ذلك، لجأت إلى التبسيط من أجل إنشاء بعض المصادر (وإن كانت مصادر غير صحيحة).

قال الباحثون: “في المجمل، أعاد ChatGPT إجابات غير صحيحة جزئيًا أو كليًا في 153 مناسبة، على الرغم من أنه اعترف فقط بعدم القدرة على الاستجابة بدقة لاستعلام ما سبع مرات”. “فقط في هذه المخرجات السبعة، استخدم برنامج الدردشة كلمات وعبارات مؤهلة مثل “يبدو” أو “من الممكن” أو “ربما” أو عبارات مثل “لم أتمكن من تحديد موقع المقالة بالضبط”.

إنهم يقارنون هذا الموقف غير السعيد مع البحث القياسي على الإنترنت حيث يقوم محرك بحث مثل Google أو Bing عادةً إما بتحديد عرض أسعار دقيق، وتوجيه المستخدم إلى موقع الويب/المواقع التي وجدها فيها، أو ذكر أنه لم يعثر على أي نتائج ذات تطابق تام. .

ويقولون إن “افتقار ChatGPT للشفافية بشأن ثقتها في الإجابة يمكن أن يجعل من الصعب على المستخدمين تقييم صحة الادعاء وفهم أجزاء الإجابة التي يمكنهم أو لا يمكنهم الوثوق بها”.

بالنسبة للناشرين، قد تكون هناك أيضًا مخاطر تتعلق بالسمعة تنبع من الاستشهادات غير الصحيحة، كما يشيرون، بالإضافة إلى المخاطر التجارية المتمثلة في توجيه القراء إلى مكان آخر.

البيانات خارج السياق

وتسلط الدراسة الضوء أيضا على قضية أخرى. ويشير إلى أن ChatGPT يمكن أن يكون في الأساس بمثابة مكافأة للسرقة الفكرية. يروي الباحثون حالة استشهد فيها ChatGPT بشكل خاطئ بموقع ويب قام بسرقة جزء من صحافة نيويورك تايمز “التي تم الإبلاغ عنها بعمق”، أي عن طريق نسخ النص ولصقه دون إسناد، كمصدر لقصة نيويورك تايمز – وتكهن بذلك، في هذه الحالة ربما يكون الروبوت قد أنشأ هذه الاستجابة الخاطئة من أجل سد فجوة المعلومات التي نتجت عن عدم قدرته على الزحف إلى موقع نيويورك تايمز.

ويشيرون إلى أن “هذا يثير تساؤلات جدية حول قدرة OpenAI على تصفية جودة وصحة مصادر بياناتها والتحقق من صحتها، خاصة عند التعامل مع محتوى غير مرخص أو مسروق”.

وفي نتائج أخرى من المحتمل أن تثير قلق الناشرين الذين وقعوا صفقات مع OpenAI، وجدت الدراسة أن استشهادات ChatGPT لم تكن موثوقة دائمًا في حالاتهم أيضًا – لذلك لا يبدو أن السماح لبرامج الزحف الخاصة بها بالدخول يضمن الدقة أيضًا.

ويرى الباحثون أن القضية الأساسية هي أن تكنولوجيا OpenAI تتعامل مع الصحافة “كمحتوى خارج السياق”، مع القليل من الاهتمام على ما يبدو لظروف إنتاجها الأصلي.

هناك مشكلة أخرى تشير إليها الدراسة وهي تباين استجابات ChatGPT. اختبر الباحثون طرح نفس الاستعلام على الروبوت عدة مرات، ووجدوا أنه “عادة ما يعرض إجابة مختلفة في كل مرة”. على الرغم من أن هذا نموذجي لأدوات GenAI، إلا أنه بشكل عام، في سياق الاقتباس، من الواضح أن هذا التناقض هو دون المستوى الأمثل إذا كنت تبحث عن الدقة.

في حين أن دراسة Tow صغيرة النطاق – يعترف الباحثون بأن هناك حاجة إلى اختبارات “أكثر صرامة” – إلا أنها مع ذلك ملحوظة نظرًا للصفقات رفيعة المستوى التي ينشغل كبار الناشرين بإبرامها مع OpenAI.

إذا كانت الشركات الإعلامية تأمل أن تؤدي هذه الترتيبات إلى معاملة خاصة لمحتواها مقارنة بالمنافسين، على الأقل فيما يتعلق بإنتاج مصادر دقيقة، فإن هذه الدراسة تشير إلى أن OpenAI لم تقدم بعد أي اتساق من هذا القبيل.

في حين أن الناشرين الذين ليس لديهم صفقات ترخيص ولكن أيضًا لم تفعل ذلك منعت برامج زحف OpenAI تمامًا – ربما على أمل التقاط بعض حركة المرور على الأقل عندما يقوم ChatGPT بإرجاع محتوى حول قصصهم – مما يجعل القراءة كئيبة أيضًا، نظرًا لأن الاستشهادات قد لا تكون دقيقة في حالاتهم أيضًا.

بعبارة أخرى، لا توجد “رؤية” مضمونة للناشرين في محرك بحث OpenAI حتى عندما يسمحون لبرامج الزحف الخاصة به بالدخول.

ولا يعني الحظر الكامل لبرامج الزحف أن الناشرين يمكنهم إنقاذ أنفسهم من مخاطر الإضرار بالسمعة من خلال تجنب أي ذكر لقصصهم في ChatGPT. ووجدت الدراسة أن الروبوت لا يزال ينسب مقالات بشكل غير صحيح إلى صحيفة نيويورك تايمز على الرغم من الدعوى القضائية المستمرة، على سبيل المثال.

“وكالة قليلة المعنى”

وخلص الباحثون إلى أنه في الوضع الحالي، ليس لدى الناشرين “قدرة كبيرة على التأثير” فيما يحدث للمحتوى الخاص بهم عندما يضع ChatGPT يديه عليه (بشكل مباشر أو غير مباشر).

يتضمن منشور المدونة ردًا من OpenAI على نتائج البحث – والذي يتهم الباحثين بإجراء “اختبار غير عادي لمنتجنا”.

“نحن ندعم الناشرين والمبدعين من خلال مساعدة 250 مليون مستخدم ChatGPT أسبوعيًا على اكتشاف محتوى عالي الجودة من خلال الملخصات والاقتباسات والروابط الواضحة والإسناد”، كما أخبرهم OpenAI، مضيفًا: “لقد تعاوننا مع شركاء لتحسين دقة الاستشهادات المضمنة و احترام تفضيلات الناشر، بما في ذلك تمكين كيفية ظهورهم في البحث من خلال إدارة OAI-SearchBot في ملف robots.txt الخاص بهم. سنواصل تحسين نتائج البحث.”