كيف تعرف أن نصًا كتبه الذكاء الاصطناعي ولماذا تخفق الكواشف

لا يمكنك أن تجزم بأن نصًا كتبه الذكاء الاصطناعي بمجرد قراءته أو تمريره على كاشف. الأنماط الأسلوبية ودرجات الكواشف مؤشرات على أن النص يشبه مخرجات الآلة، وليست دليلًا على من كتبه. والحكم المنصف يجمع بين هذه المؤشرات وأدلة على عملية الكتابة، مثل المسوّدات وسجل الإصدارات والحديث مع الكاتب.

العلامات الأسلوبية للنص المكتوب بالذكاء الاصطناعي

تنتج النماذج اللغوية الكبيرة النص باختيار الكلمة التالية المرجّحة مرارًا وتكرارًا. ثم يدفعها الضبط الدقيق نحو إجابات مهذّبة ومتوازنة وكاملة. والنتيجة أسلوب خاص يسهل تمييزه، خاصة حين يقبل المستخدم الإجابة الأولى دون تحرير.

المفردات والصياغة

• كلمات مفضّلة. تظهر كلمات معيّنة في مخرجات روبوتات المحادثة أكثر بكثير من الكتابة العادية: «delve» و«tapestry» و«testament to» و«pivotal» و«seamless» و«robust» و«landscape» و«navigate the complexities».
• عبارات التوجيه. «It's important to note that» و«In today's digital age» و«When it comes to» و«In conclusion» و«Overall» تُستخدم كانتقالات آلية.
• توازن متحفّظ. كل ادعاء مخفَّف، وبعد كل حجة تأتي عبارة «however, it is also worth considering». ونادرًا ما يتبنّى النص موقفًا.
• تراكيب ثلاثية. قوائم من ثلاث صفات أو ثلاث جمل متوازية تتكرر فقرة بعد فقرة.

البنية

• إيقاع موحّد. جمل وفقرات متقاربة الطول، تبدأ كل فقرة بجملة موضوع وتنتهي بملخص صغير.
• عناوين ونقاط في كل مكان، حتى حيث يكون النثر المتصل أنسب، كالبيان الشخصي أو البريد الإلكتروني.
• خاتمة تلخيصية تعيد صياغة المقدمة دون أن تضيف شيئًا.

المحتوى

• غياب التفاصيل المحدّدة. لا أسماء ولا تواريخ ولا أماكن ولا أرقام ولا تجارب شخصية يمكن التحقق منها، أو تفاصيل تبدو معقولة لكنها غامضة («a recent study found»).
• أخطاء تُقال بثقة. مراجع مختلقة وتواريخ خاطئة واقتباسات لا وجود لها. وقد تناولناها في دليلنا عن هلوسات الذكاء الاصطناعي.
• عدم اتساق مع الكاتب. نثر مصقول وعام من شخص تختلف أعماله الأخرى كثيرًا في النبرة وعادات الإملاء ومستوى التفصيل.

ليست أيٌّ من هذه العلامات حاسمة. فكثيرون يكتبون بأسلوب رسمي ويستخدمون النقاط؛ والكتابة المؤسسية والقانونية والأكاديمية نمطية بحكم طبيعتها. كما يستطيع مستخدم حريص أن يوجّه النموذج لتجنّب هذه العادات كلها. اعتبر العلامات الأسلوبية سببًا لمزيد من التدقيق، لا دليلًا.

كيف تعمل كواشف الذكاء الاصطناعي

تنقسم الكواشف الآلية إلى ثلاث عائلات عامة.

كواشف قائمة على المصنِّفات

المصنِّف شبكة عصبية، وغالبًا ما تكون محوّلًا مضبوطًا بدقة مثل RoBERTa، مدرَّبة على أمثلة كثيرة موسومة من نصوص البشر والآلة. وهي تتعلم أي فروق إحصائية تفصل المجموعتين في بيانات تدريبها، وتُخرج احتمال انتماء نص جديد إلى فئة «الذكاء الاصطناعي». وهي دقيقة على نصوص تشبه بيانات تدريبها وأضعف مع النماذج الجديدة أو الأنواع غير المعتادة أو اللغات الأخرى.

يندرج كاشف الذكاء الاصطناعي لدينا ضمن هذه العائلة. فهو يستخدم نموذج RoBERTa مفتوحًا مدرَّبًا على معيار RAID، وهو مجموعة بيانات بحثية كبيرة من نصوص البشر والآلة عبر مولّدات ومجالات كثيرة، ويستشير نموذجًا ثانيًا مدرَّبًا على مجموعة بيانات HC3 حين تكون الدرجة الأولى حدّية. ويعمل في متصفحك، لذا لا يُرفع النص.

كواشف قائمة على الحيرة (بدون تدريب)

لا تحتاج هذه الكواشف إلى أمثلة تدريب. بل تسأل نموذجًا لغويًا عن مدى قابلية كل كلمة في النص للتنبؤ. والحيرة (perplexity) مقياس لهذه المفاجأة: الحيرة المنخفضة تعني أن النموذج وجد النص سهل التوقع. ولأن روبوتات المحادثة تختار كلمات مرجّحة، فإن مخرجاتها تكون عادةً أقل حيرة من الكتابة البشرية. وتقيس بعض الأدوات أيضًا التفاوت (burstiness)، أي التباين في قابلية التنبؤ بين الجمل، لأن الكتابة البشرية تميل إلى المزج بين جمل بسيطة وجمل مفاجئة.

وتصقل الطرق البحثية هذه الفكرة. فـ DetectGPT تقارن احتمال النص بنسخ منه معاد كتابتها قليلًا، وBinoculars تقارن مدى مفاجأة النص لنموذج بمدى المفاجأة التي يتوقعها نموذج آخر. وضعف هذه العائلة كلها واحد: فالكتابة البشرية البسيطة المتوقعة لها حيرة منخفضة أيضًا.

كشف العلامات المائية

يستطيع مزوّد النموذج تضمين علامة مائية إحصائية بتحيّز خفي في الكلمات التي يختارها النموذج، ثم يكشف هذا التحيّز لاحقًا. وقد نشرت Google أداة SynthID Text لهذا الغرض. لا تعمل العلامات المائية إلا مع النص الذي يولّده مزوّد مشارك، ولا يمكن فحصها إلا بكاشف ذلك المزوّد، وتضعف حين تُعاد صياغة النص أو يُترجم.

لماذا تنتج الكواشف إيجابيات خاطئة

الإيجابية الخاطئة هي كتابة بشرية تُصنَّف على أنها ذكاء اصطناعي. وهي الخطأ الأهم، لأنها قد تؤدي إلى اتهام شخص لم يفعل شيئًا خاطئًا. وأسبابها الشائعة:

• الكتّاب غير الناطقين الأصليين. غالبًا ما يستخدم من يكتبون بلغة ثانية مفردات أقل وتراكيب جمل أكثر أمانًا، ما يجعل نصهم أكثر قابلية للتنبؤ. وقد وجدت دراسة عام 2023 أجراها Liang وزملاؤه في Stanford ونُشرت في مجلة Patterns أن عدة كواشف شائعة صنّفت غالبية مقالات اختبار TOEFL التي كتبها ناطقون غير أصليين بالإنجليزية على أنها مولَّدة بالذكاء الاصطناعي، بينما قيّمت مقالات الناطقين الأصليين بدقة أعلى بكثير.
• النص النمطي. تقارير المختبر والبنود القانونية وأوصاف المنتجات ورسائل التقديم والمقالات ذات الفقرات الخمس تتبع قوالب. والنص الذي يلتزم بقالب بدقة يبدو متوقعًا أيًّا كان كاتبه.
• النص القصير. بضع جمل لا تعطي الكاشف إلا دليلًا ضئيلًا جدًا، فتتأرجح الدرجات كثيرًا. ويجب اعتبار النتائج على فقرة واحدة شبه عديمة المعنى.
• أدوات التدقيق والتحرير. مساعدات الإملاء والأسلوب، التي يستخدم بعضها الآن نماذج لغوية بنفسه، تصقل خصوصيات الكتابة البشرية وقد ترفع الدرجة.

وتحدث السلبيات الخاطئة أيضًا. فأدوات إعادة الصياغة والتحرير اليدوي والمزج بين جمل الذكاء الاصطناعي والجمل البشرية أو توجيه النموذج للكتابة بأسلوب غير معتاد، كلها تخفض الدرجة. وقد سحبت OpenAI مصنّفها الخاص لنصوص الذكاء الاصطناعي عام 2023 بسبب انخفاض دقته، وهذا يبيّن صعوبة المشكلة حتى على مطوّر النموذج.

ماذا تعني درجة الكاشف فعلًا

نتيجة مثل «87% AI» هي عادةً ثقة النموذج بأن النص ينتمي إلى فئة الذكاء الاصطناعي. وهي لا تعني أن 87% من النص كتبه الذكاء الاصطناعي، ولا هي احتمال أن الشخص قد غشّ. وتُبرز بعض الأدوات أيضًا جملًا بعينها، لكن الدرجات على مستوى الجملة تقوم على نص أقل، وهي أقل موثوقية من الدرجة الإجمالية.

للمعدلات الأساسية أهمية. افترض أن كاشفًا يصنّف خطأً 1 من كل 100 نص بشري حقيقي. فعلى معلّم يفحص 300 مقال صادق في فصل دراسي أن يتوقع نحو ثلاثة تصنيفات خاطئة، كل منها يُنسب إلى طالب حقيقي. وكلما قلّ الاستخدام الفعلي للذكاء الاصطناعي في مجموعة ما، زادت حصة الإنذارات الكاذبة بين النصوص المصنَّفة.

وكنقطة مرجعية، في اختبارنا الصغير صنّف كاشفنا 8 من 8 نصوص مولَّدة بالذكاء الاصطناعي، وحصل 23 من 24 نصًا بشريًا حقيقيًا على أقل من 50%. وهذه عيّنة صغيرة، وتعني أن كاتبًا صادقًا واحدًا في تلك المجموعة كان سيُصنَّف خطأً. لكل كاشف نسبة خطأ؛ والسؤال المسؤول هو ماذا تفعل بدرجة مرتفعة.

عملية منصفة للمعلمين ومسؤولي التوظيف والمحرّرين

1. حدّد القواعد مسبقًا. وضّح أي استخدامات للذكاء الاصطناعي مسموحة: العصف الذهني والتدقيق النحوي والترجمة والصياغة الكاملة. فكثير من النزاعات ينشأ من توقعات غير واضحة لا من عدم أمانة.
2. استخدم الدرجة كدافع لمزيد من البحث فقط. لا تبنِ عقوبة على نتيجة كاشف وحدها، ولا تعرض الدرجة على الكاتب كأنها دليل.
3. افحص المحتوى. تحقّق من المراجع والاقتباسات والوقائع المحدّدة. فالمصادر المختلقة دليل أقوى بكثير من درجة الأسلوب.
4. اطلب العملية. المسوّدات والملاحظات والمخططات وسجل إصدارات الملف (يحتفظ به كل من Google Docs وMicrosoft 365) تُظهر كيف تطوّر المستند. والنص الذي يظهر دفعة واحدة بلصق دون أي سجل يستحق سؤالًا؛ أما المستند المكتوب والمنقَّح على مدى أيام فدليل قوي على عمل بشري.
5. قارن بالأعمال السابقة. انظر هل يتناسب الأسلوب والمفردات ومستوى التفصيل مع ما كتبه الشخص من قبل، بما في ذلك الأعمال المنجزة في بيئات خاضعة للإشراف.
6. تحدّث معه. اطلب من الكاتب أن يشرح حجته أو لماذا اختار مصدرًا أو ماذا تعني فقرة ما. فمن كتب النص يستطيع عادةً أن يناقشه بسهولة.
7. دوّن استدلالك. سجّل الأدلة التي اعتمدت عليها وامنح الشخص فرصة للرد قبل أي قرار.

أما مسؤولو التوظيف فليتذكّروا أن كثيرًا من المرشحين يستخدمون الذكاء الاصطناعي لتحسين سيرهم الذاتية، وأن كثيرًا من أصحاب العمل يتقبّلون ذلك. ويبلّغ كاشف الذكاء الاصطناعي للسير الذاتية لدينا أيضًا عن كثافة العبارات الرنانة ومدى تحديد المحتوى، وهو غالبًا أنفع من درجة الذكاء الاصطناعي نفسها: فالسيرة الذاتية العامة ضعيفة أيًّا كان كاتبها. والمقابلة هي المكان الذي تُختبر فيه الخبرة المدّعاة.

كشف الذكاء الاصطناعي مقابل فحص الانتحال

كشف الذكاء الاصطناعي وفحص الانتحال يجيبان عن سؤالين مختلفين. فحص الانتحال يبحث عن تطابق مع مصادر موجودة؛ وكاشف الذكاء الاصطناعي يبحث عن أنماط إحصائية للنص المولَّد. والنص المولَّد بالذكاء الاصطناعي صياغته جديدة عادةً، فنادرًا ما يطابق مصدرًا كلمة بكلمة، بينما قد يجتاز النص البشري المنسوخ كاشف الذكاء الاصطناعي. وإن اشتبهت في نسخ أو إعادة صياغة قريبة لمصدر محدّد، فقارن بينهما مباشرة باستخدام كاشف الانتحال لدينا، الذي يجد التطابقات التامة من خمس كلمات والجمل المعاد صياغتها بين نصك والمصادر التي تقدّمها.

إذا صُنِّفت كتابتك أنت

أن يُصنَّف عمل كتبته بنفسك على أنه مولَّد أمر مرهق، لكنه قصور معروف في هذه الأدوات. احتفظ بمسوّداتك واعمل في محرر يوفّر سجل إصدارات، ليكون السجل موجودًا إن احتجته. واسأل عن الأداة المستخدمة وكيف تُفسَّر النتيجة، وأبدِ استعدادك للحديث عن عملك.

الأسئلة الشائعة

هل تستطيع كواشف الذكاء الاصطناعي إثبات أن شخصًا استخدم ChatGPT؟

لا. الكواشف تقدّر مدى تشابه نص مع أمثلة مولَّدة آليًا. ولها نسب خطأ قابلة للقياس في الاتجاهين، فينبغي أن تبدأ الدرجة تحقيقًا لا أن تنهيه.

ما مدى دقة كواشف الذكاء الاصطناعي؟

تعتمد الدقة على طول النص ونوعه ولغته والنموذج الذي أنتجه وهل حُرِّر. وتؤدي الكواشف أفضل ما يكون مع المخرجات الطويلة غير المحرَّرة من نماذج معروفة، وأسوأ ما يكون مع النصوص القصيرة أو النمطية أو المحرَّرة بكثافة ومع كتابة غير الناطقين الأصليين.

لماذا صُنِّف مقالي الذي كتبته بنفسي على أنه ذكاء اصطناعي؟

الأسباب الشائعة هي نص قصير أو بنية نمطية أو صياغة بسيطة ومتوقعة (شائعة عند الكتابة بلغة ثانية) أو استخدام مكثّف لأدوات التصحيح النحوي. ومسوّداتك وسجل الإصدارات أفضل طريقة لإظهار كيف كتبته.

هل وجود كلمات مثل «delve» يعني أن النص مولَّد بالذكاء الاصطناعي؟

ليس بمفردها. بعض الكلمات أكثر شيوعًا إحصائيًا في مخرجات روبوتات المحادثة، لكن كل واحدة منها يستخدمها الناس أيضًا. ووجود مجموعة من هذه الكلمات مع محتوى عام وبلا تفاصيل محدّدة مؤشر أقوى من أي كلمة منفردة.

هل يمكن جعل نص الذكاء الاصطناعي غير قابل للكشف؟

غالبًا نعم. فإعادة الصياغة والتحرير اليدوي والمزج بين جمل البشر والذكاء الاصطناعي كلها تخفض درجات الكواشف. وهذا أحد أسباب أن الدرجة المنخفضة لا تثبت أن النص بشري.