Turnitin Türkçe metinde yapay zekayı tanıyor mu?

Turnitin'in yapay zekâ (YZ) tespit aracı, 2023'ten beri akademik dünyada büyük bir merak konusu. Peki bu teknoloji Türkçe metinler için çalışıyor mu?

• Kısa cevap: Hayır. Turnitin'in yapay zekâ tespit özelliği şimdilik yalnızca İngilizce dilinde yazılmış metinleri analiz edebiliyor. Türkçe ödevler bu kontrolden geçmiyor.
• Doğruluk oranı: Şirket, İngilizce metinler için %98'e varan bir doğruluk iddia etse de bu oran, insan müdahalesiyle değiştirilmiş metinlerde düşebiliyor.
• İki farklı rapor: Turnitin'deki "Yapay Zekâ Göstergesi" ile "Benzerlik Raporu" (intihal oranı) tamamen farklıdır. Biri metnin nasıl yazıldığına, diğeri ise nereden alındığına odaklanır.
• Atlatma yöntemleri: Yapay zekâdan alınan ham metinler kolayca yakalanır. Ancak metin bir insan tarafından düzenlendiğinde veya "paraphrasing" araçlarıyla değiştirildiğinde tespit oranı belirgin şekilde düşer.

Turnitin yapay zekâyı Türkçe metinlerde neden tanıyamıyor?

Turnitin'in yapay zekâ tanıma modeli, şimdilik sadece İngilizce dilinin yapısal özelliklerine göre eğitilmiştir. Bu nedenle Türkçe gibi farklı dilbilgisi ve söz dizimine sahip dilleri analiz edemez. Şirket bu özelliği 25 Nisan 2023'te duyursa da, Türkçe ödev, makale ve tezler bu kontrolden geçmemektedir.

Bu teknik sınırlama, Uludağ Üniversitesi gibi birçok kurumun kendi duyurularında da açıkça vurgulanır. Turnitin’in yapay zekâ yazım göstergesi, Türkçe içeriği çözümleyecek şekilde tasarlanmadı. Bu durum sadece Turnitin'in ana ürünü için değil, araştırmacılara yönelik olan ve benzer bir teknolojiye sahip iThenticate platformu için de geçerlidir. Firma gelecekte farklı dilleri de kapsayacak şekilde sistemi genişletebileceğini belirtiyor. Ancak şu anki durumda Türkçe metinler için bir yapay zekâ denetimi söz konusu değil. Bu teknik kısıtlamanın farkında olmak önemlidir.

Turnitin'in yapay zekâ detektörü nasıl çalışıyor?

Turnitin'in detektörü, metni yüzlerce kelimelik küçük parçalara ayırır. Her parçayı, insan ve yapay zekâ tarafından yazılmış milyonlarca örnekle karşılaştırarak analiz eder. Bu analizde cümlenin akıcılığı, kelime seçimi ve öngörülebilirlik gibi "dijital parmak izleri" aranır. Sonuçta, belgenin tamamı için bir yapay zekâ olasılık yüzdesi hesaplanır.

Bu sistemin temelinde, "transformer" mimarisi üzerine kurulu gelişmiş bir derin öğrenme modeli bulunur. Süreç şöyle işler: Metin bölümlere ayrılır, her bölüm analiz edilir ve 0 ile 1 arasında bir puan alır. 0 puanı metnin bir insan, 1 puanı ise yapay zekâ tarafından yazıldığını gösterir. En sonunda, bu puanların ağırlıklı ortalaması alınarak belgenin geneli için bir yapay zekâ yüzdesi oluşturulur. Bu oran, ChatGPT gibi araçların kullanım ihtimalini gösterir.

Bu teknoloji kelimelerin yanı sıra cümle yapılarının karmaşıklığına, tutarlılığına ve metnin akışındaki öngörülebilirlik seviyesine de bakar. Yapay zekâ tarafından üretilen metinler genellikle daha tekdüze bir yapıya sahiptir ve belirli kalıpları tekrarlar. Turnitin detektörü de tam olarak bu izleri arar.

Turnitin’in YZ tanıma aracı ne kadar isabetli?

Turnitin, sisteminin genel doğruluk oranını %98 olarak açıklıyor. Ayrıca, insan eliyle yazılmış bir metni yanlışlıkla "yapay zekâ üretimi" olarak işaretleme (yalancı pozitif) oranının %1'in altında olduğunu iddia ediyor. Ancak bazı üniversitelerin deneyimleri, bu iddiaların sorgulanmasına neden oldu.

Örneğin, Vanderbilt ve Kaliforniya Üniversiteleri gibi bazı büyük kurumlar, sistemin güvenilirliği konusundaki endişeler nedeniyle bir dönem Turnitin'in yapay zekâ detektörünü kapatma kararı aldı. Bu durum, teknolojinin henüz mükemmel olmadığını ve hatalı sonuçlar üretebildiğini düşündürüyor. Öte yandan Turnitin, ana dili İngilizce olmayan öğrencilerin yazdığı metinlerde bir önyargı oluşup oluşmadığını test etmiş. Sonuçlar, 300 kelimeden uzun metinlerde yalancı pozitif oranının ana dili İngilizce olanlarda %1,3, olmayanlarda ise %1,4 olduğunu göstermiş. Bu da aradaki farkın istatistiksel olarak anlamlı olmadığını ortaya koyuyor.

Sonuç olarak, Turnitin'in sistemi basit kopyala-yapıştır yapay zekâ metinlerini yüksek isabetle yakalayabilse de, insan müdahalesiyle değiştirilmiş veya daha gelişmiş yapay zekâ modelleriyle üretilmiş metinlerde hata payı artabiliyor. Bu nedenle, eğitmenler bu raporları tek başına bir kanıt olarak değil, bir ipucu olarak kullanmaya teşvik ediliyor.

Turnitin'in yapay zekâ detektörü atlatılabilir mi?

Evet, atlatmak mümkündür, ama yönteme bağlı. Yapay zekâdan alınan metni doğrudan kopyalamak neredeyse her zaman tespit edilir. Ancak, metni "Quillbot" gibi yeniden ifade etme (paraphrasing) araçlarından geçirmek veya bir insanın baştan sona düzenlemesi, Turnitin'in tespit oranını ciddi şekilde düşürür. En etkili yöntem insan müdahalesidir.

Yapay zekâdan alınan ham ve işlenmemiş bir metin, Turnitin tarafından %100'e yakın bir oranla tespit edilebilir. İşler, metin üzerinde oynamalar yapıldığında karmaşıklaşır. Yeniden ifade etme araçları, kelimeleri ve cümle yapılarını değiştirerek yapay zekânın tipik üslup izlerini bir miktar siler. Yapılan testler, bu şekilde değiştirilen metinlerde Turnitin'in tespit oranının %70'lere kadar düştüğünü gösteriyor.

En etkili atlatma yöntemi ise metnin bir insan tarafından ciddi şekilde düzenlenmesidir. Yapay zekâ bir taslak üretme aracı olarak kullanılıp, metin daha sonra öğrencinin kendi cümleleri ve analizleriyle baştan yazıldığında, ortaya çıkan metni detektörün ayırt etmesi neredeyse imkânsız hale gelir. Bu yaklaşım, yapay zekâyı bir yazar yerine bir asistan olarak kullanma prensibiyle de uyumludur.

Yapay zekâ tespiti ile intihal kontrolü arasındaki fark ne?

Bu iki araç tamamen farklıdır. İntihal kontrolü (Benzerlik Raporu), metnin başka kaynaklardan kopyalanıp kopyalanmadığını kontrol eder. Yapay zekâ tespiti ise metnin kimin tarafından yazıldığını (insan mı, makine mi) anlamaya çalışır. Bir metin %0 intihal oranına sahipken %100 yapay zekâ ile yazılmış olabilir.

Bu iki aracın temel farklarını şöyle özetleyebiliriz:

• İntihal Kontrolü (Benzerlik Raporu): Öğrencinin metnini milyarlarca web sayfası, akademik dergi ve öğrenci ödeviyle karşılaştırır. Amacı, metnin nereden alındığını bulmaktır. Başka bir kaynakla birebir veya çok benzer olan kısımları tespit eder.
• Yapay Zekâ Tespiti: Metnin nasıl yazıldığına odaklanır. Herhangi bir kaynakla karşılaştırma yapmaz. Bunun yerine, dilbilgisel yapısını ve cümle akışını analiz ederek bir insan mı yoksa bir algoritma tarafından mı üretildiğini anlamaya çalışır.

Bu iki raporun birbirinden bağımsız sonuçlar vermesi çok olasıdır. Örneğin, bir öğrencinin ödevi %0 benzerlik oranına sahip olabilir, yani hiçbir yerden kopyalanmamıştır. Ancak aynı ödev, tamamen yapay zekâ tarafından yazıldığı için %95 yapay zekâ oranı gösterebilir. Bu iki aracın birlikte değerlendirilmesi, eğitmenlere öğrencinin çalışmasının özgünlüğü hakkında çok daha bütüncül bir resim sunar. Şunu da eklemek gerekir ki yapay zekâ raporları sadece eğitmenler ve yöneticiler tarafından görülebilir, öğrenciler bu skoru göremez.

Sıkça Sorulan Sorular

Turnitin'in yapay zekâ detektörü Türkçe metinleri anlıyor mu?

Hayır, şu anki haliyle Turnitin'in yapay zekâ tanıma özelliği sadece İngilizce dilinde yazılmış metinler için çalışıyor. Türkçe olarak yüklenen ödevlerde, tezlerde veya makalelerde yapay zekâ kontrolü yapılmıyor. Bu durum, gelecekteki güncellemelerle değişebilir.

Turnitin'in yapay zekâ tespit sistemi ne kadar güvenilir?

Turnitin, sisteminin %98'e varan bir isabet oranına sahip olduğunu iddia ediyor. Ancak, bazı üniversitelerin sistemi verimsiz bulup kapatması ve yeniden ifade etme araçlarıyla sistemin atlatılabilmesi, bu oranın her durumda geçerli olmadığını gösteriyor.

"Yalancı pozitif" oranı nedir?

Yalancı pozitif, insan tarafından yazılmış bir metnin yanlışlıkla yapay zekâ tarafından yazılmış gibi etiketlenmesidir. Turnitin, %20'den fazla yapay zekâ içeren metinler için bu oranı %1'in altında tutmayı hedeflediğini belirtiyor. Bu, sistemin masum öğrencileri yanlışlıkla suçlama riskini en aza indirme çabasını gösterir.

Turnitin hangi yapay zekâ modellerini tanıyabiliyor?

Turnitin'in detektörü öncelikli olarak OpenAI'nin GPT-3.5 ve GPT-4 gibi yaygın modellerini tanıyacak şekilde eğitilmiştir. Sistem, yeni modeller çıktıkça güncellenmektedir. Bu, Google Gemini veya Claude gibi diğer popüler yapay zekâ araçlarından gelen metinleri de tanıma potansiyeli olduğu anlamına gelir.

Öğrenciler Turnitin'in yapay zekâ detektörünü atlatabilir mi?

Evet, özellikle metni yeniden ifade eden (paraphrasing) araçlar kullanılarak veya metin bir insan tarafından kapsamlı bir şekilde düzenlenerek detektörün atlatılması mümkündür. Ham, kopyala-yapıştır metinler kolayca tespit edilirken, üzerinde oynanmış metinleri tanımak daha zordur.

Turnitin'in yapay zekâ tanıma özelliği ne zaman başladı?

Turnitin, yapay zekâ yazım tanıma aracını mevcut sistemlerine 25 Nisan 2023 tarihinde entegre ederek tüm lisanslı kullanıcıların hizmetine sundu. Bu tarihten itibaren, İngilizce metinler için yapay zekâ kontrolü yapılmaya başlandı.

Yapay zekâ tespit raporunu kimler görebilir?

Turnitin'deki yapay zekâ yazım göstergesi ve ilgili detaylı rapor, yalnızca dersin eğitmeni ve kurumun Turnitin yöneticileri tarafından görülebilir. Öğrenciler, kendi yükledikleri belgenin yapay zekâ skorunu göremezler.

Akademik yazılarınızda yapay zekânın gücünden doğru ve etik bir şekilde yararlanmak isterseniz, Türkçe akademik yazım için geliştirilmiş bir yardımcıyı keşfedebilirsiniz. referati.ai'yi deneyin: Türkçe akademik yazım için yapay zeka.