Cara Mengetahui Teks Ditulis AI (dan Mengapa Detektor Gagal)

Anda tidak bisa memastikan sebuah teks ditulis AI hanya dengan membacanya atau menjalankannya lewat detektor. Pola gaya dan skor detektor hanyalah sinyal bahwa teks mirip keluaran mesin, bukan bukti siapa yang menulisnya. Penilaian yang adil menggabungkan sinyal-sinyal itu dengan bukti proses penulisan, seperti draf, riwayat versi, dan percakapan dengan penulisnya.

Ciri gaya tulisan buatan AI

Model bahasa besar menghasilkan teks dengan berulang kali memilih kata berikutnya yang paling mungkin. Fine-tuning kemudian mengarahkannya ke jawaban yang sopan, seimbang, dan lengkap. Hasilnya memiliki gaya khas yang mudah dikenali, terutama bila pengguna menerima jawaban pertama tanpa menyuntingnya.

Kosakata dan frasa

• Kata favorit. Kata-kata tertentu muncul jauh lebih sering dalam keluaran chatbot daripada dalam tulisan biasa: "delve", "tapestry", "testament to", "pivotal", "seamless", "robust", "landscape", "navigate the complexities".
• Frasa penanda transisi. "It's important to note that", "In today's digital age", "When it comes to", "In conclusion", dan "Overall" yang dipakai sebagai transisi otomatis.
• Keseimbangan yang berhati-hati. Setiap klaim dilunakkan, dan setiap argumen diikuti "however, it is also worth considering". Teksnya jarang mengambil posisi tegas.
• Susunan tiga serangkai. Daftar tiga kata sifat atau tiga klausa paralel, diulang paragraf demi paragraf.

Struktur

• Ritme seragam. Kalimat dan paragraf dengan panjang yang mirip, setiap paragraf dibuka dengan kalimat topik dan ditutup dengan ringkasan mini.
• Heading dan poin di mana-mana, bahkan di tempat yang lebih wajar memakai prosa mengalir, seperti esai pribadi atau email.
• Penutup berupa ringkasan yang mengulang pendahuluan tanpa menambahkan apa pun.

Isi

• Minim hal spesifik. Tidak ada nama, tanggal, tempat, angka, atau pengalaman pribadi yang bisa dicek, atau detail yang terdengar masuk akal tetapi samar ("a recent study found").
• Kesalahan yang disampaikan dengan percaya diri. Referensi karangan, tanggal yang salah, atau kutipan yang tidak ada. Hal ini dibahas dalam panduan kami tentang halusinasi AI.
• Tidak cocok dengan penulisnya. Prosa yang rapi dan generik dari seseorang yang karya lainnya sangat berbeda dalam nada, kebiasaan ejaan, atau tingkat detail.

Tidak satu pun dari ini bersifat konklusif. Banyak orang menulis secara formal dan memakai poin-poin; tulisan korporat, hukum, dan akademik memang berpola baku. Selain itu, pengguna yang cermat dapat mengarahkan model agar menghindari semua kebiasaan ini. Anggap ciri gaya sebagai alasan untuk memeriksa lebih dekat, bukan sebagai bukti.

Cara kerja detektor AI

Detektor otomatis terbagi menjadi tiga keluarga besar.

Detektor berbasis classifier

Classifier adalah jaringan saraf, sering kali transformer hasil fine-tuning seperti RoBERTa, yang dilatih dengan banyak contoh berlabel teks manusia dan mesin. Classifier mempelajari perbedaan statistik apa pun yang memisahkan kedua kelompok dalam data latihnya dan menghasilkan probabilitas bahwa teks baru termasuk kelas "AI". Detektor ini akurat pada teks yang mirip data latihnya dan lebih lemah pada model baru, genre yang tidak lazim, atau bahasa lain.

Detektor AI kami termasuk keluarga ini. Detektor ini memakai model RoBERTa terbuka yang dilatih pada benchmark RAID, dataset riset besar berisi teks manusia dan mesin dari berbagai generator dan domain, dan merujuk model kedua yang dilatih pada dataset HC3 ketika skor pertama berada di wilayah abu-abu. Alat ini berjalan di browser Anda, sehingga teks tidak diunggah.

Detektor berbasis perplexity (zero-shot)

Detektor ini tidak membutuhkan contoh latihan. Sebagai gantinya, detektor ini menanyakan kepada model bahasa seberapa mudah setiap kata dalam teks diprediksi. Perplexity adalah ukuran keterkejutan itu: perplexity rendah berarti model menganggap teks mudah diprediksi. Karena chatbot memilih kata yang paling mungkin, keluarannya biasanya memiliki perplexity lebih rendah daripada tulisan manusia. Beberapa alat juga mengukur burstiness, yaitu variasi keterdugaan antarkalimat, karena tulisan manusia cenderung memadukan kalimat biasa dan kalimat yang mengejutkan.

Metode riset menyempurnakan gagasan ini. DetectGPT membandingkan probabilitas sebuah teks dengan versi yang sedikit ditulis ulang, dan Binoculars membandingkan seberapa mengejutkan teks bagi satu model dengan seberapa mengejutkan yang diharapkan model lain. Kelemahan seluruh keluarga ini sama: tulisan manusia yang sederhana dan mudah ditebak juga memiliki perplexity rendah.

Deteksi watermark

Penyedia model dapat menyematkan watermark statistik dengan mengarahkan pilihan kata model secara halus, lalu mendeteksi kecenderungan itu di kemudian hari. Google telah menerbitkan SynthID Text untuk tujuan ini. Watermark hanya berfungsi untuk teks yang dihasilkan oleh penyedia yang berpartisipasi, hanya bisa diperiksa dengan detektor milik penyedia tersebut, dan melemah ketika teks diparafrasekan atau diterjemahkan.

Mengapa detektor menghasilkan false positive

False positive adalah tulisan manusia yang dinilai sebagai AI. Inilah kesalahan yang paling berdampak, karena bisa berujung pada tuduhan terhadap orang yang tidak bersalah. Penyebab yang umum adalah:

• Penutur non-asli. Orang yang menulis dalam bahasa kedua sering memakai kosakata lebih sedikit dan struktur kalimat yang lebih aman, sehingga teksnya lebih mudah diprediksi. Studi tahun 2023 oleh Liang dan rekan-rekan di Stanford, yang diterbitkan di jurnal Patterns, menemukan bahwa beberapa detektor populer melabeli sebagian besar esai ujian TOEFL yang ditulis penutur non-asli bahasa Inggris sebagai buatan AI, sementara menilai esai penutur asli jauh lebih akurat.
• Teks berpola baku. Laporan lab, klausul hukum, deskripsi produk, surat lamaran, dan esai lima paragraf mengikuti templat. Teks yang mengikuti templat dengan ketat tampak mudah diprediksi siapa pun penulisnya.
• Teks pendek. Beberapa kalimat memberi detektor bukti yang sangat sedikit, sehingga skornya sangat naik-turun. Hasil pada satu paragraf sebaiknya dianggap nyaris tidak bermakna.
• Alat tata bahasa dan penyuntingan. Asisten ejaan dan gaya, sebagian di antaranya kini memakai model bahasa, menghaluskan kekhasan manusia dan dapat mendorong skor naik.

False negative juga terjadi. Alat parafrase, penyuntingan manual, pencampuran kalimat AI dan manusia, atau mengarahkan model untuk menulis dengan gaya yang tidak lazim, semuanya menurunkan skor. OpenAI menarik classifier teks AI miliknya sendiri pada 2023 dengan alasan tingkat akurasinya rendah, yang menunjukkan betapa sulitnya masalah ini bahkan bagi pengembang model.

Arti sebenarnya dari skor detektor

Hasil seperti "87% AI" biasanya adalah tingkat keyakinan model bahwa teks termasuk kelas AI. Skor itu tidak berarti 87% teks ditulis oleh AI, dan juga bukan probabilitas bahwa orang tersebut berbuat curang. Beberapa alat juga menyorot kalimat satu per satu, tetapi skor tingkat kalimat didasarkan pada teks yang lebih sedikit lagi dan kurang andal daripada skor keseluruhan.

Base rate itu penting. Misalkan detektor keliru menandai 1 dari 100 teks manusia asli. Seorang guru yang memeriksa 300 esai jujur dalam satu semester seharusnya mengharapkan sekitar tiga tanda keliru, dan setiap tanda itu menyangkut siswa sungguhan. Semakin jarang penggunaan AI yang sebenarnya dalam suatu kelompok, semakin besar porsi teks tertandai yang ternyata alarm palsu.

Sebagai acuan, dalam uji kecil kami sendiri, detektor kami menandai 8 dari 8 teks buatan AI, dan 23 dari 24 teks manusia asli mendapat skor di bawah 50%. Itu sampel yang kecil, dan artinya satu penulis jujur dalam kumpulan itu akan tertandai. Setiap detektor memiliki tingkat kesalahan; yang penting adalah bagaimana Anda menyikapi skor tinggi secara bertanggung jawab.

Proses yang adil untuk guru, perekrut, dan editor

1. Tetapkan aturan sejak awal. Nyatakan dengan jelas penggunaan AI yang diizinkan: brainstorming, pemeriksaan tata bahasa, terjemahan, penyusunan draf penuh. Banyak sengketa muncul dari harapan yang tidak jelas, bukan dari ketidakjujuran.
2. Gunakan skor hanya sebagai pemicu untuk memeriksa lebih lanjut. Jangan pernah menjatuhkan sanksi hanya berdasarkan hasil detektor, dan jangan menyajikan skor kepada penulis sebagai bukti.
3. Periksa isinya. Verifikasi referensi, kutipan, dan fakta spesifik. Sumber karangan merupakan bukti yang jauh lebih kuat daripada skor gaya.
4. Minta proses penulisannya. Draf, catatan, kerangka, dan riwayat versi file (Google Docs dan Microsoft 365 sama-sama menyimpannya) menunjukkan bagaimana dokumen berkembang. Teks yang muncul dalam sekali tempel tanpa riwayat layak ditanyakan; dokumen yang diketik dan direvisi selama berhari-hari adalah bukti kuat karya manusia.
5. Bandingkan dengan karya sebelumnya. Pertimbangkan apakah gaya, kosakata, dan tingkat detailnya sesuai dengan yang pernah ditulis orang tersebut, termasuk karya yang dikerjakan dalam situasi yang diawasi.
6. Lakukan percakapan. Minta penulis menjelaskan argumennya, mengapa ia memilih suatu sumber, atau apa arti suatu paragraf. Orang yang menulis teks itu biasanya dapat membahasnya dengan mudah.
7. Catat alasan Anda. Tuliskan bukti yang Anda andalkan dan beri orang tersebut kesempatan menanggapi sebelum keputusan apa pun diambil.

Bagi perekrut, ingatlah bahwa banyak kandidat memakai AI untuk memoles CV, dan banyak pemberi kerja menerimanya. Detektor CV & Resume AI kami juga melaporkan kepadatan buzzword dan seberapa spesifik isinya, yang sering kali lebih berguna daripada skor AI itu sendiri: CV yang generik itu lemah siapa pun penulisnya. Pengalaman yang diklaim kandidat diuji saat wawancara.

Deteksi AI versus pemeriksaan plagiarisme

Deteksi AI dan pemeriksaan plagiarisme menjawab pertanyaan yang berbeda. Pemeriksaan plagiarisme mencari tumpang tindih dengan sumber yang ada; detektor AI mencari pola statistik teks buatan mesin. Teks buatan AI biasanya berupa susunan kata baru, sehingga jarang sama persis dengan suatu sumber, sedangkan teks manusia yang disalin sering lolos dari detektor AI. Jika Anda mencurigai penyalinan atau parafrase yang sangat dekat dari sumber tertentu, bandingkan keduanya secara langsung dengan Pemeriksa Plagiarisme kami, yang menemukan kecocokan persis lima kata dan kalimat yang diparafrasekan antara teks Anda dan sumber yang Anda berikan.

Jika tulisan Anda sendiri ditandai

Tulisan Anda sendiri yang ditandai sebagai AI memang membuat stres, tetapi itu adalah keterbatasan yang sudah diketahui dari alat-alat ini. Simpan draf Anda dan bekerjalah di editor dengan riwayat versi, agar catatannya ada bila Anda membutuhkannya. Tanyakan alat apa yang dipakai dan bagaimana hasilnya ditafsirkan, lalu tawarkan untuk membahas karya Anda.

Pertanyaan yang sering diajukan

Bisakah detektor AI membuktikan bahwa seseorang memakai ChatGPT?

Tidak. Detektor memperkirakan seberapa mirip suatu teks dengan contoh buatan mesin. Detektor memiliki tingkat kesalahan yang terukur ke dua arah, jadi skor sebaiknya memulai penyelidikan, bukan mengakhirinya.

Seberapa akurat detektor AI?

Akurasi bergantung pada panjang teks, genre, bahasa, model yang menghasilkan teks, dan apakah teks itu disunting. Detektor paling baik pada keluaran panjang yang tidak disunting dari model terkenal dan paling buruk pada teks pendek, berpola baku, atau banyak disunting, serta pada tulisan penutur non-asli.

Mengapa esai tulisan saya sendiri ditandai sebagai AI?

Alasan yang umum adalah teks yang pendek, struktur yang berpola baku, pilihan kata yang sederhana dan mudah ditebak (lazim saat menulis dalam bahasa kedua), atau pemakaian alat koreksi tata bahasa secara intensif. Draf dan riwayat versi Anda adalah cara terbaik untuk menunjukkan bagaimana Anda menulisnya.

Apakah kata seperti "delve" berarti teks dibuat AI?

Tidak dengan sendirinya. Beberapa kata secara statistik lebih umum dalam keluaran chatbot, tetapi setiap kata itu juga dipakai orang. Sekumpulan kata seperti itu bersama isi yang generik dan tanpa detail spesifik merupakan sinyal yang lebih kuat daripada satu kata saja.

Bisakah teks AI dibuat tidak terdeteksi?

Sering kali bisa. Parafrase, penyuntingan manual, dan pencampuran kalimat manusia dan AI semuanya menurunkan skor detektor. Inilah salah satu alasan skor rendah tidak membuktikan bahwa teks ditulis manusia.