Bir metnin yapay zekâ ile yazılıp yazılmadığı nasıl anlaşılır?
- Metni Kontrol edilecek metin alanına yapıştırın veya bir .txt, .pdf ya da .docx belgesi yüklemek için Dosya yükle düğmesine tıklayın. Kelime sayacı ne kadar metniniz olduğunu gösterir; en güvenilir sonuç 80 kelime veya daha fazlasıyla alınır.
- Yapay zekayı tespit et düğmesine tıklayın. İlk seferde tarayıcınız tespit modelini (yaklaşık 126 MB) indirir. Model önbelleğe alındığı için sonraki kontroller hızlı başlar.
- En üstteki genel puanı ve kararı okuyun, ardından sonucu hangi bölümlerin belirlediğini görmek için Yapay zekâ olasılığına göre bölümler kısmında aşağı kaydırın.
- Yazım tarzı sinyalleri tablosunu arka plan bilgisi olarak kullanın. Bu rakamlar puana dahil değildir.
Model tarayıcınızın içinde çalışır. Metniniz ve dosyalarınız sunucumuza veya başka birine gönderilmez.
Dedektör nasıl çalışır?
Ana model, RAID karşılaştırma testinin (benchmark) veri setiyle eğitilmiş açık kaynaklı bir RoBERTa sınıflandırıcısı olan TMR'dir. RAID, dedektörleri atlatmak için bilerek başka sözcüklerle ifade edilmiş veya değiştirilmiş metinler de dahil olmak üzere 11 farklı dil modelinden metin içerir.
Uzun metinler yaklaşık 160 kelimelik bölümlere ayrılır ve her bölüm kendi yapay zekâ olasılığını alır. Genel puan, bölümlerin uzunluklarına göre ağırlıklandırılmış ortalamasıdır. Bölümler puana göre vurgulanır: %80 ve üzeri, %50–80 ve %30–50; %30'un altındaki her şey işaretsiz bırakılır.
Ana puan %50 ile %97,5 arasındaki sınır bölgesine düştüğünde ikinci bir model görüşünü bildirir. Bu, insan ve ChatGPT yanıtlarından oluşan HC3 veri setiyle eğitilmiş bir RoBERTa sınıflandırıcısıdır (yalnızca gerektiğinde indirilen yaklaşık 126 MB'lık ikinci bir dosya). Nihai puanda ağırlığın çoğu ikinci modele verilir, çünkü bu model ana modelin en zayıf olduğu alan olan gündelik insan yazılarını nadiren işaretler. Bu durumda sonuçta her iki puan da gösterilir.
Yapay zekâ dedektörü ne kadar doğru?
Dedektörü 32 metin üzerinde test ettik. 24 insan metni, ChatGPT ortaya çıkmadan önce, 2012 ile 2017 arasında yazılmış Hacker News yorumları ve klasik romanlardan alınmış bölümlerdi. 8 yapay zekâ metni ise farklı tarzları kapsıyordu: bir deneme, gündelik bir inceleme, teknik bir nasıl yapılır yazısı, kısa bir öykü, Slack tarzı bir ekip güncellemesi ve bir ürün incelemesi.
- 8 yapay zekâ metninin tamamı %95 ile %99 arasında puan aldı.
- 24 insan metninden 23'ü %50'nin altında puan aldı.
- Gündelik bir insan yorumu yanlışlıkla yapay zekâ olarak işaretlendi.
Bu küçük bir testtir, kapsamlı bir karşılaştırma testi (benchmark) değildir. Yaygın tarzlardaki yapay zekâ metinlerinin yakalanmasını, zaman zaman da gerçek bir insanın işaretlenmesini bekleyin.
Sonuç nasıl okunur?
Karar genel puana göre verilir: %85 ve üzeri "Büyük olasılıkla yapay zekâ tarafından üretilmiş", %60–85 "Muhtemelen yapay zekâ tarafından üretilmiş veya büyük ölçüde düzenlenmiş", %35–60 "Karışık veya belirsiz", %15–35 "Muhtemelen insan tarafından yazılmış" ve %15'in altı "Büyük olasılıkla insan tarafından yazılmış" olarak gösterilir. Puanın altında ayrıca yapay zekâya benzeyen bölümlerin tahmini oranını görürsünüz; bu, insan ve yapay zekâ bölümlerini bir arada içeren belgeler için kullanışlıdır.
Yazım tarzı sinyalleri metni yargılamadan tanımlar:
- Burstiness (cümle uzunluğu çeşitliliği), cümle uzunluğunun ne kadar değiştiğini ölçer. İnsanlar kısa ve uzun cümleleri karıştırma eğilimindedir; sohbet botları ise çoğu zaman düzenli bir ritim üretir.
- Kelime çeşitliliği, kısa ve uzun metinler arasında karşılaştırılabilir kalan hareketli ortalamalı tür-belirteç oranıdır (MATTR).
- Yaygın yapay zekâ ifadeleri, sohbet botlarının aşırı kullandığı kalıp ifadeleri listeler; örneğin "delve", "tapestry", "it is important to note" veya "in today's fast-paced…".
- Uzun tireler sayılır, çünkü sık kullanılmaları iyi bilinen bir yapay zekâ alışkanlığıdır; ancak birçok özenli yazar da bunları kullanır.
Dedektör ne zaman yanılır?
Puanı hiçbir zaman kanıt olarak değil, bir olasılık olarak görün. Sonuçlar şu durumlarda daha az güvenilirdir:
- kısa metinler (yaklaşık 80 kelimenin altında sonuç düşük güvenilirlikli olarak işaretlenir);
- listeler, madde işaretleri, formlar ve az sayıda akıcı düzyazı içeren diğer metinler;
- doğası gereği öngörülebilir olan kalıplaşmış, hukuki veya teknik yazılar;
- daha basit ve daha düzenli cümleler kullanma eğiliminde olan, anadili İngilizce olmayan kişilerin İngilizcesi;
- bir insanın büyük ölçüde yeniden yazdığı yapay zekâ taslakları;
- İngilizce dışındaki diller.
Dedektörler bilerek de kandırılabilir; örneğin yapay zekâ metnini bir yeniden ifade etme (paraphrasing) aracından geçirerek veya sohbet botundan "bir insan gibi" yazmasını isteyerek. Düşük bir puan, metni bir insanın yazdığını kanıtlamaz.
İpuçları
- Bir deneme yerine iş başvurusu mu kontrol ediyorsunuz? Yapay Zeka CV ve Özgeçmiş Dedektörü, CV'ler için hazırlanmış klişe kelime ve özgüllük sinyalleri ekler.
- Metin kaynak içeriyorsa onu Yapay Zeka Halüsinasyon Denetleyici'den de geçirin. Uydurulmuş kaynaklar herhangi bir puandan daha güçlü bir kanıttır.
- Yapay zekâdan çok kopyalamadan mı şüpheleniyorsunuz? İntihal Denetleyici, metni sizin verdiğiniz bir kaynakla karşılaştırır.
Sıkça sorulan sorular
ChatGPT, Gemini ve Claude'u tespit edebilir mi?
Ana model 11 dil modelinin çıktılarıyla, ikinci model ise ChatGPT yanıtlarıyla eğitildi; bu nedenle yaygın sohbet botlarının metinleriyle çalışacak şekilde tasarlanmıştır. Hiçbir dedektör her şeyi yakalayamaz, özellikle de daha yeni modellerin metinlerini.
Metnim yükleniyor mu?
Hayır. Modeller tarayıcınıza indirilir ve orada çalışır. Metniniz cihazınızdan hiç çıkmaz.
İlk kontrol neden yavaş?
İlk çalıştırmada yaklaşık 126 MB model verisi, ikinci bir görüş gerekirse de 126 MB daha indirilir. Modeller sonraki kontroller için önbelleğe alınır.
Puanı birinin kopya çektiğini kanıtlamak için kullanabilir miyim?
Hayır. Puan bir tahmindir ve yanlış pozitif sonuçlar, özellikle gündelik, anadili İngilizce olmayan kişilerce yazılmış veya kalıplaşmış metinlerde yaşanır. Puanı hiçbir zaman tek kanıt olarak değil, daha yakından bakmak için bir neden olarak kullanın.
Güncellendi