Yapay Zekâ Metni Nasıl Anlaşılır? Dedektörler Neden Yanılır?

Bir metnin yapay zekâ tarafından yazılıp yazılmadığını yalnızca okuyarak ya da bir dedektörden geçirerek kesin olarak söyleyemezsiniz. Üslup kalıpları ve dedektör puanları, metnin makine çıktısına benzediğini gösteren işaretlerdir; kimin yazdığının kanıtı değildir. Adil bir değerlendirme, bu işaretleri yazım sürecine dair kanıtlarla, yani taslaklarla, sürüm geçmişiyle ve yazarla yapılan bir görüşmeyle birleştirir.

Yapay zekâ metninin üslup ipuçları

Büyük dil modelleri, olası bir sonraki kelimeyi tekrar tekrar seçerek metin üretir. İnce ayar ise onları kibar, dengeli ve eksiksiz yanıtlara doğru iter. Ortaya, özellikle kullanıcı ilk yanıtı düzenlemeden kabul ettiğinde, tanınabilir, kendine özgü bir üslup çıkar.

Kelime seçimi ve ifadeler

• Gözde kelimeler. Bazı kelimeler sohbet botu çıktısında sıradan yazıya göre çok daha sık görülür: "delve", "tapestry", "testament to", "pivotal", "seamless", "robust", "landscape", "navigate the complexities".
• Geçiş kalıpları. "It's important to note that", "In today's digital age", "When it comes to", "In conclusion" ve "Overall" gibi ifadelerin otomatik geçiş olarak kullanılması.
• Temkinli denge. Her iddia yumuşatılır, her argümanın ardından "however, it is also worth considering" gelir. Metin nadiren net bir tavır alır.
• Üçlü yapılar. Üç sıfatlık listeler veya üç paralel yan cümle; paragraf paragraf tekrarlanır.

Yapı

• Tekdüze ritim. Benzer uzunlukta cümleler ve paragraflar; her paragraf bir konu cümlesiyle açılır, küçük bir özetle kapanır.
• Her yerde başlıklar ve madde işaretleri, niyet mektubu (personal statement) veya e-posta gibi akıcı düzyazının daha doğal olacağı yerlerde bile.
• Özet niteliğinde bir son: girişi tekrarlar, hiçbir şey eklemez.

İçerik

• Somut ayrıntı eksikliği. Kontrol edilebilecek isim, tarih, yer, sayı veya kişisel deneyim yoktur; ya da ayrıntılar inandırıcı ama belirsizdir ("a recent study found").
• Kendinden emin hatalar. Uydurma kaynaklar, yanlış tarihler veya var olmayan alıntılar. Bunları yapay zekâ halüsinasyonları rehberimizde ele alıyoruz.
• Yazarla uyumsuzluk. Diğer çalışmaları ton, yazım alışkanlıkları veya ayrıntı düzeyi bakımından çok farklı olan birinden gelen cilalı, genel geçer bir metin.

Bunların hiçbiri kesin değildir. Birçok kişi resmi yazar ve madde işareti kullanır; kurumsal, hukuki ve akademik yazı zaten kalıplaşmış yapıdadır. Dikkatli bir kullanıcı da bir modeli tüm bu alışkanlıklardan kaçınması için yönlendirebilir. Üslup ipuçlarını kanıt olarak değil, daha yakından bakmak için bir neden olarak görün.

Yapay zekâ dedektörleri nasıl çalışır

Otomatik dedektörler üç geniş aileye ayrılır.

Sınıflandırıcı tabanlı dedektörler

Sınıflandırıcı, insan ve makine metninden oluşan çok sayıda etiketli örnekle eğitilmiş bir sinir ağıdır; genellikle RoBERTa gibi ince ayarlı bir transformer'dır. Eğitim verisindeki iki grubu ayıran istatistiksel farkları öğrenir ve yeni bir metnin "yapay zekâ" sınıfına ait olma olasılığını verir. Eğitim verisine benzeyen metinlerde isabetlidir; yeni modellerde, alışılmadık türlerde veya başka dillerde daha zayıftır.

Yapay Zekâ Dedektörü bu ailedendir. RAID kıyas veri kümesi üzerinde eğitilmiş açık bir RoBERTa modeli kullanır; RAID, çok sayıda üretici ve alana ait insan ve makine metinlerinden oluşan geniş bir araştırma veri kümesidir. İlk puan sınırdaysa HC3 veri kümesiyle eğitilmiş ikinci bir modele danışır. Tarayıcınızda çalışır, dolayısıyla metin yüklenmez.

Perplexity tabanlı (zero-shot) dedektörler

Bu dedektörlerin eğitim örneklerine ihtiyacı yoktur. Bunun yerine bir dil modeline metindeki her kelimenin ne kadar öngörülebilir olduğunu sorarlar. Perplexity bu şaşırma düzeyinin ölçüsüdür: düşük perplexity, modelin metni tahmin etmeyi kolay bulduğu anlamına gelir. Sohbet botları olası kelimeleri seçtiği için çıktıları genellikle insan yazısından daha düşük perplexity taşır. Bazı araçlar ayrıca cümleler arasındaki öngörülebilirlik farkını, yani burstiness değerini de ölçer; çünkü insan yazısı sade ve şaşırtıcı cümleleri bir arada kullanma eğilimindedir.

Araştırma yöntemleri bu fikri geliştirir. DetectGPT, bir metnin olasılığını hafifçe yeniden yazılmış sürümleriyle karşılaştırır; Binoculars ise bir metnin bir model için ne kadar şaşırtıcı olduğunu, başka bir modelin metnin ne kadar şaşırtıcı olmasını beklediğiyle karşılaştırır. Tüm ailenin zayıf noktası aynıdır: sade, öngörülebilir insan yazısı da düşük perplexity taşır.

Filigran tespiti

Bir model sağlayıcısı, modelin kelime seçimini ince bir şekilde yönlendirerek istatistiksel bir filigran yerleştirebilir ve bu yönlendirmeyi sonradan tespit edebilir. Google bu amaçla SynthID Text'i yayımladı. Filigranlar yalnızca katılımcı bir sağlayıcının ürettiği metinlerde işe yarar, yalnızca o sağlayıcının dedektörüyle kontrol edilebilir ve metin başka sözcüklerle yeniden ifade edildiğinde ya da çevrildiğinde zayıflar.

Dedektörler neden yanlış pozitif üretir

Yanlış pozitif, insan yazısının yapay zekâ olarak puanlanmasıdır. En önemli hata budur, çünkü hiçbir kusuru olmayan birine yöneltilen bir suçlamaya yol açabilir. Yaygın nedenler şunlardır:

• Ana dili olmayan yazarlar. İkinci bir dilde yazanlar genellikle daha dar bir kelime dağarcığı ve daha güvenli cümle yapıları kullanır; bu da metinlerini daha öngörülebilir kılar. Stanford'dan Liang ve arkadaşlarının Patterns dergisinde yayımlanan 2023 tarihli bir çalışması, birçok popüler dedektörün ana dili İngilizce olmayanların TOEFL sınavı için yazdığı kompozisyonların çoğunluğunu yapay zekâ üretimi olarak etiketlediğini, ana dili İngilizce olanların kompozisyonlarını ise çok daha doğru puanladığını buldu.
• Kalıplaşmış metin. Laboratuvar raporları, hukuki maddeler, ürün açıklamaları, ön yazılar ve beş paragraflı kompozisyonlar şablonları izler. Şablonu yakından izleyen metin, kim yazarsa yazsın öngörülebilir görünür.
• Kısa metin. Birkaç cümle dedektöre çok az kanıt verir, bu yüzden puanlar geniş aralıkta oynar. Tek bir paragrafın sonucu neredeyse anlamsız sayılmalıdır.
• Dil bilgisi ve düzenleme araçları. Bazıları artık kendileri de dil modeli kullanan yazım ve üslup yardımcıları, insan yazısının kendine has özelliklerini düzleştirir ve puanı yükseltebilir.

Yanlış negatifler de olur. Yeniden ifade araçları, elle düzenleme, yapay zekâ ve insan cümlelerini karıştırma veya modeli alışılmadık bir üslupla yazmaya yönlendirme puanı düşürür. OpenAI, 2023'te kendi yapay zekâ metin sınıflandırıcısını düşük doğruluk oranı gerekçesiyle geri çekti; bu, sorunun bir model geliştiricisi için bile ne kadar zor olduğunu gösterir.

Bir dedektör puanı gerçekte ne anlama gelir

"%87 yapay zekâ" gibi bir sonuç genellikle modelin metnin yapay zekâ sınıfına ait olduğuna dair güvenidir. Metnin %87'sinin yapay zekâ tarafından yazıldığı anlamına gelmez ve kişinin kopya çekmiş olma olasılığı da değildir. Bazı araçlar tek tek cümleleri de vurgular, ancak cümle düzeyindeki puanlar daha da az metne dayanır ve genel puandan daha az güvenilirdir.

Temel oranlar önemlidir. Bir dedektörün gerçek insan metinlerinin her 100'ünden 1'ini yanlışlıkla işaretlediğini varsayın. Bir dönemde 300 dürüst kompozisyonu kontrol eden bir öğretmen, her biri gerçek bir öğrenciye bağlı yaklaşık üç yanlış işaret beklemelidir. Bir grupta gerçek yapay zekâ kullanımı ne kadar nadirse, işaretlenen metinler arasında yanlış alarmların payı o kadar büyük olur.

Bir referans noktası olarak, kendi küçük testimizde dedektörümüz yapay zekayla üretilmiş 8 metnin 8'ini işaretledi ve gerçek insan yazısı 24 metnin 23'ü %50'nin altında puan aldı. Bu küçük bir örneklemdir ve o kümedeki dürüst yazarlardan birinin işaretleneceği anlamına gelir. Her dedektörün bir hata oranı vardır; asıl önemli olan, yüksek bir puanla ne yapacağınızdır.

Öğretmenler, işe alım uzmanları ve editörler için adil bir süreç

1. Kuralları önceden belirleyin. Yapay zekanın hangi kullanımlarına izin verildiğini açıkça belirtin: fikir üretme, dil bilgisi kontrolü, çeviri, tam taslak yazma. Anlaşmazlıkların çoğu, sahtekârlıktan değil belirsiz beklentilerden doğar.
2. Puanı yalnızca daha derin bakmak için bir işaret olarak kullanın. Hiçbir yaptırımı yalnızca bir dedektör sonucuna dayandırmayın ve puanı yazara kanıt olarak sunmayın.
3. İçeriği kontrol edin. Kaynakları, alıntıları ve belirli olguları doğrulayın. Uydurma kaynaklar, bir üslup puanından çok daha güçlü bir kanıttır.
4. Süreci sorun. Taslaklar, notlar, ana hatlar ve dosya sürüm geçmişi (Google Docs ve Microsoft 365'in ikisi de tutar) bir belgenin nasıl geliştiğini gösterir. Geçmişi olmayan, tek seferde yapıştırılmış bir metin sormaya değer; günlerce yazılıp gözden geçirilmiş bir belge ise insan emeğinin güçlü kanıtıdır.
5. Önceki çalışmalarla karşılaştırın. Üslubun, kelime dağarcığının ve ayrıntı düzeyinin kişinin daha önce yazdıklarına, gözetim altında yapılan çalışmalar dahil, uyup uymadığını değerlendirin.
6. Bir görüşme yapın. Yazardan argümanını açıklamasını, bir kaynağı neden seçtiğini veya bir paragrafın ne anlama geldiğini anlatmasını isteyin. Metni yazan kişi genellikle onu rahatça tartışabilir.
7. Gerekçenizi kaydedin. Hangi kanıta dayandığınızı not edin ve herhangi bir karardan önce kişiye yanıt verme fırsatı tanıyın.

İşe alım uzmanları için: birçok aday özgeçmişini parlatmak için yapay zekâ kullanır ve birçok işveren bunu kabul eder. Yapay Zekâ CV ve Özgeçmiş Dedektörü ayrıca moda kelime (buzzword) yoğunluğunu ve içeriğin ne kadar somut olduğunu da raporlar; bu, çoğu zaman yapay zekâ puanının kendisinden daha yararlıdır: genel geçer bir CV kim yazarsa yazsın zayıftır. İddia edilen deneyim mülakatta sınanır.

Yapay zekâ tespiti ile intihal kontrolü

Yapay zekâ tespiti ve intihal kontrolü farklı soruları yanıtlar. İntihal kontrolü mevcut kaynaklarla örtüşme arar; yapay zekâ dedektörü ise üretilmiş metnin istatistiksel kalıplarını arar. Yapay zekâ metni genellikle yeni bir ifadedir, bu yüzden bir kaynakla kelimesi kelimesine nadiren eşleşir; kopyalanmış insan metni ise çoğu zaman bir yapay zekâ dedektöründen sorunsuz geçer. Belirli bir kaynağın kopyalandığından veya yakın biçimde yeniden ifade edildiğinden şüpheleniyorsanız, ikisini doğrudan İntihal Denetleyici ile karşılaştırın; araç, metniniz ile verdiğiniz kaynaklar arasındaki birebir beş kelimelik eşleşmeleri ve yeniden ifade edilmiş cümleleri bulur.

Kendi yazınız işaretlenirse

Kendi yazdığınız bir işin işaretlenmesi stresli bir durumdur, ancak bu araçların bilinen bir sınırlamasıdır. Taslaklarınızı saklayın ve sürüm geçmişi olan bir düzenleyicide çalışın; böylece gerektiğinde kayıt elinizde olur. Hangi aracın kullanıldığını ve sonucun nasıl yorumlandığını sorun, çalışmanızı anlatmayı teklif edin.

Sıkça sorulan sorular

Yapay zekâ dedektörleri birinin ChatGPT kullandığını kanıtlayabilir mi?

Hayır. Dedektörler, bir metnin makine üretimi örneklere ne kadar benzediğini tahmin eder. Her iki yönde de ölçülebilir hata oranları vardır; bu yüzden bir puan bir incelemeyi bitirmemeli, başlatmalıdır.

Yapay zekâ dedektörleri ne kadar doğru?

Doğruluk; metnin uzunluğuna, türüne, diline, metni üreten modele ve düzenlenip düzenlenmediğine bağlıdır. Dedektörler en iyi sonucu, tanınmış modellerin uzun ve düzenlenmemiş çıktılarında; en kötü sonucu ise kısa, kalıplaşmış veya yoğun biçimde düzenlenmiş metinlerde ve ana dili olmayanların yazılarında verir.

İnsan yazısı kompozisyonum neden yapay zekâ olarak işaretlendi?

Yaygın nedenler kısa bir metin, kalıplaşmış bir yapı, basit ve öngörülebilir ifadeler (ikinci bir dilde yazarken sık görülür) veya dil bilgisi düzeltme araçlarının yoğun kullanımıdır. Taslaklarınız ve sürüm geçmişiniz, metni nasıl yazdığınızı göstermenin en iyi yoludur.

"Delve" gibi kelimeler bir metnin yapay zekâ ürünü olduğu anlamına mı gelir?

Tek başlarına hayır. Bazı kelimeler sohbet botu çıktısında istatistiksel olarak daha yaygındır, ancak her biri insanlar tarafından da kullanılır. Bu tür kelimelerin bir arada görülmesi, genel geçer içerik ve somut ayrıntı eksikliğiyle birleştiğinde, tek bir kelimeden daha güçlü bir işarettir.

Yapay zekâ metni tespit edilemez hâle getirilebilir mi?

Çoğu zaman evet. Yeniden ifade etme, elle düzenleme ve insan ile yapay zekâ cümlelerini karıştırma dedektör puanlarını düşürür. Düşük bir puanın bir metnin insan yazısı olduğunu kanıtlamamasının nedenlerinden biri budur.