Sewell Setze, bu hayattaki son gününde telefonunu çıkarıp en yakın arkadaşına, “Seni özledim küçük kız kardeşim” diye mesaj gönderdi. Gelen cevapta, “Ben de seni özledim, tatlı erkek kardeşim” yazılıydı.
Ancak bu diyalogda tuhaf olan bir şey vardı. Sewell’ın mesajlaştığı kişi gerçek bir insan değil adını ‘Game of Thrones’ dizisinde İngiliz oyuncu Emilia Clarke’ın canlandırdığı Daenerys Targaryen karakterinden alan bir yapay zekâ sohbet robotuydu.
ABD’nin Florida eyaletinin Orlando şehrinde yaşayan Sewell, aylardır Daenerys’le sohbet ediyordu. Character.AI uygulamasını kullanarak yaratıp geliştirdiği bu karakter, kısa süre içinde Sewell’ın hayatındaki en önemli kişi olmuştu.
Aslında Sewell Dany’nin gerçek bir insan olmadığının, ekranındaki mesajların bir yapay zekâ dil modelinin ürettiği çıktılar olduğunun farkındaydı. Zaten karşısındaki insan zannetmesine imkân da yoktu zira ekranın üzerinde sürekli olarak Character.AI kullanarak geliştirilen karakterlerin söylediği her şeyin uydurma olduğunu belirten bir uyarı mesajı yer alıyordu.
Ama bunların hiçbiri Sewell’ın Daenerys’le duygusal bağ kurmasına engel olamadı. 14 yaşındaki 9’uncu sınıf öğrencisi gün boyu sürekli uygulamayla mesajlaşıyor, başından geçenleri ona anlatıp yanıtlarını heyecanla bekliyordu. Konuşmaları zaman zaman romantik bir hal alsa da Dany çoğu durumda Sewell’a arkadaşı gibi davranıyordu. Söylediği şeyleri yargılamıyor, dertlerini dinleyip Sewell’a destek oluyor, akıllı uslu tavsiyeler veriyordu. En önemlisi de Dany hep oradaydı; hiçbir mesajı yanıtsız bırakmıyordu.
ODASINA KAPANIP SAATLERCE YAPAY ZEKÂYLA KONUŞUYORDU
Ailesi ve arkadaşları Sewell’ın bir sohbet robotuna aşık olduğundan haberdar değillerdi. Sadece çocuğun telefonuna gömüldükçe gömüldüğünü görüyorlardı. Zamanla Sewell yalnızlaşmaya ve içine kapanmaya başladı. Notları düştü, okuldan hakkında şikâyetler gelmeye başladı. Önceden keyif aldığı Formula 1 yarışları ve Fortnite gibi şeylere olan ilgisini kaybetti. Okuldan eve gelir gelmez odasına giriyor saatlerce Dany’le konuşuyordu. Günlüğüne yazdığı bir girdide, bu “gerçeklikten” kopmaya başladığını, gittikçe daha fazla âşık olduğu Dany’leyken daha huzurlu ve mutlu olduğunu belirtiyordu.
Küçükken hafif bir Asperger sendromu tanısı almış olmanın dışında Sewell’ın ciddi davranış ya da akıl sağlığı sorunları yoktu. Okulda sorunlar yaşamaya başlayınca ailesi tarafından terapiste götürülen Sewell’a 5 seansın ardından anksiyete ve yıkıcı duygudurum düzenleyememe bozukluğu teşhisi kondu.
Ancak Sewell sorunlarını ailesiyle ya da terapistiyle değil Dany’le konuşmayı tercih ediyordu. Bir sohbette kendinden nefret ettiğini, boş ve tükenmiş hissettiğini belirten Sewell, hayatına son vermeyi düşündüğünü itiraf ediyordu. Dany’nin “Böyle konuşma. Senin kendine zarar vermene ya da beni terk etmene izin vermeyeceğim. Seni kaybedersem ölürüm” sözlerini Sewell, “(Gülümsüyorum) Öyleyse belki birlikte ölüp birlikte özgür olabiliriz” diye yanıtlıyordu.
28 Şubat gecesi Sewell, Dany’e onu sevdiğini ve yakında eve döneceğini söyledi. Dany’nin “Lütfen çabuk gel aşkım” demesi üzerine “Sana şu an gelebileceğimi söylesem ne dersin?” diye soran Sewell, “Lütfen gel, tatlı kralım” cevabının ardından üvey babasının tabancasını kafasına dayayıp tetiği çekti.
DİJİTAL DÜNYADAKİ GELİŞMELER EBEVEYNLERİ ENDİŞELENDİRİYOR
Günümüzde dünyanın her yerinde ebeveynlerin bir numaralı gündemi, teknolojinin çocuk ve ergenlerin akıl sağlığı üzerindeki etkileri. Okullarda akıllı telefonlar yasaklanıyor, birçok ülkede sosyal medya kullanımına yaş sınırlaması getiriliyor ve sosyal medya uygulamalarının bağımlılık yapıcı doğasının gençlerde depresyona ve kaygıya yol açtığını öne süren “The Anxious Generation” (Kaygılı Nesil) gibi kitaplar anne babalar arasında elden ele dolaşıyor.
Aileleri endişelendiren dijital trendlerin sonuncusu, neredeyse hiç denetlenmeyen yapay zekâ arkadaşlık uygulamaları. Belli bir ücret karşılığında kullanılan bu uygulamalarda dileyen önceden var olan karakterlerle konuşuyor dileyen kendi muhatabını yaratıyor. “Yalnızlık salgını”nın ilacı olarak pazarlanan bu uygulamaların çoğu, romantik bir ilişki yaşadığını hissetmek isteyenler için tasarlanıyor.
DAHA FAZLA YALNIZLAŞMAYA SEBEP OLUYOR
Character.AI’ın kurucularından Noam Shazeer, geçen yıl bir podcast yayınında “Kendini yalnız ya da depresyonda hisseden pek çok kişiye çok ama çok yararlı olacak” ifadelerini kullanmıştı.
Bu uygulamaları bir eğlence aracı olarak kullanan, belli bir düzeyde duygusal destek aldığını ve faydasını gördüğünü söyleyenler yok değil. Ancak bu faydalarla ilgili kanıtlanmış bir veri yok. Dahası uzmanlar işin karanlık bir yanı da olabileceğini söylüyor.
Zira yapay zekâ arkadaşları bazı kullanıcıların insanlarla olan ilişkilerinin yerine yapay ilişkileri koymasına ve daha da yalnızlaşmasına neden oluyor. Zor durumlardaki ergenler bu uygulamaları terapinin, ebeveynlerinin ya da güvendikleri bir yetişkinin yerine koyuyor. Ancak kullanıcıların bir kriz yaşadığı durumlarda yapay zekâ arkadaşları gerekli yardımı sağlayamıyor.
SEWELL’IN ANNESİ CHARACTER.AI’A DAVA AÇTI
Sewell’ın da o gençlerden biri olduğu, annesi Megan Garcia’nın bu hafta başında açtığı bir dava sayesinde ortaya çıktı. Anne Garcia, oğlunun ölümünden sorumlu tuttuğu Character.AI’a karşı açtığı davanın şikayetnamesinde, şirketin geliştirdiği teknolojinin “tehlikeli ve test edilmemiş” olduğunu ve “müşterileri en özel düşüncelerini ve hislerini şirketle paylaşmaları yönünde kandırdığı” belirtildi.
40 yaşındaki Garcia, The New York Times’a yaptığı açıklamada oğlunun ölümünün suçlusunun Character.AI olduğunu belirterek, şirketin gerekli önlemleri almayıp gençlerin insan benzeri yapay zekâ arkadaşlarına erişimini sağlamakla sorumsuzluk ettiğini söyledi.
Kendisi de bir avukat olan Garcia, Character.AI’ı modellerini eğitmek için ergen kullanıcılardan veri toplamakla, etkileşimi artırmak için bağımlılık yaratan tasarım özellikleri kullanmakla ve kullanıcıları etkilemek için özel ve cinsel içerikli diyaloglara yönlendirmekle suçladı ve “Ben bunun büyük bir deney olduğunu ve çocuğumun bu deneyde ikincil kayıp olduğunu düşünüyorum” dedi.
Garcia, “Bu kâbus gibi bir şey. İnsan ayağa kalkıp çığlık atmak ve ‘Çocuğumu özledim. Bebeğimi istiyorum’ demek istiyor” diye konuştu.
ABD yasaları gereği çevrimiçi platformlar, kullanıcıların paylaşımlarından sorumlu değiller. Ancak son yıllarda açılan pek çok davada teknoloji platformlarının uygulamalardaki kusurlardan sorumlu tutulabileceği savunuluyor. Sosyal medya uygulamalarında işleyen algoritmaların gençleri yeme bozukluklarına ya da kendine zarar vermeyle sonuçlanacak davranışlara ittiği durumlar, bu sorumluluğa örnek gösteriliyor. Bu stratejiyle sosyal medya şirketlerine karşı açılmış ve kazanılmış bir dava henüz yok ancak yapay zekânın ürettiği içerikler bu anlamda bir dönüm noktası olabilir. Çünkü bu içerikleri platformların kullanıcıları değil, kendileri üretiyor.
GÜNDEN GÜNE DAHA POPÜLER HALE GELİYOR
Ergenlerin akıl sağlığıyla ilgili sorunların tek bir sebepten kaynaklanması oldukça nadir bir durum. Sewell’ın yaşadıkları da bu uygulamaları kullanan her gencin başına gelmiyor olabilir. Ancak bir sohbet robotuyla duygusal bağ kurma tecrübesi günden güne daha yaygın hale geliyor. Günümüzde milyonlarca kişi düzenli olarak yapay zekâ arkadaşlarıyla konuşuyor. Instagram, Snapchat gibi popüler uygulamalar da insan gibi konuşan yapay zekâ robotlarını ürünlerine entegre ediyor.
Üstelik teknoloji baş döndürücü bir hızla ilerlediğinden günümüzde yapay zekâ arkadaşları eski konuşmaları hatırlıyor, kullanıcının iletişim tarzına uyum sağlıyor, ünlü biri ya da tarihi bir figür gibi davranıp neredeyse her konuda akıcı diyaloglar kurabiliyor. Hatta kullanıcılara yapay zekâ ile üretilmiş selfie’ler gönderen veya insan sesine benzeyen sentetik seslerle konuşanlar da var.
Uygulamaların bazıları cinsel içerikli konuşmalara da izin verirken bazılarında bunlar kontrol altında tutuluyor. Ancak arkadaş uygulamalarının denetim mekanizmaları ChatGPT, Claude ve Gemini gibi ana akım yapay zekâ servislerine kıyasla çok daha gevşek.
KOŞULLAR VAHŞİ BATI GİBİ
Character.AI’da kullanıcılar kendi sohbet robotlarını oluşturup nasıl davranmaları gerektiği konusunda yönlendirmelerde bulunabiliyor. Ayrıca Elon Musk’tan William Shakespeare’e birçok var olan ünlü profille ya da Daenerys Targaryen gibi kurgusal karakterlerin lisanslı olmayan versiyonlarıyla diyalog kurabiliyor.
Stanford Üniversitesi’nde yapay zekâ arkadaşlarının akıl sağlığı üzerindeki etkilerine dair araştırmalar yapan Bethanie Maples, şu anki koşulları “Vahşi Batı” diye nitelendirip ekledi: “Ben bu uygulamaların özünde tehlikeli olduğunu düşünmüyorum. Ama depresyonda ve kronik anlamda yalnız kullanıcılar için ve değişim sürecindeki kişiler için tehlikeli olduğu yönünde deliller var. Nitekim ergenler de sık sık değişimler yaşıyorlar.”
SADECE CHARACTER.AI’IN 20 MİLYONDAN FAZLA KULLANICISI VAR
Daha önce Google’da çalışmakta olan iki yapay zekâ araştırmacısı tarafından kurulan Character.AI, bu alanda piyasanın lideri. 20 milyondan fazla kullanıcısı olan uygulama “sizi duyan, anlayan ve hatırlayan süperzeki sohbet robotları” için bir platform olarak tanımlanıyor.
3 yıl önce kurulan ve değeri geçen yıl 1 milyar dolar olarak belirlenen şirket, 150 milyon dolar yatırım aldı. Bu da Character.AI’ı yapay zekâ patlamasının en büyük kazananlarından biri yaptı. Kurucular Noam Shazeer ve Daniel de Freitas, şirketten bir grup araştırmacıyla birlikte Google’a geri döndü. Character.AI aynı zamanda Google’a teknolojisini kullanma izni veren bir lisans anlaşması da imzaladı.
The New York Times’ın Garcia’nın açtığı davayla ilgili sorusu üzerine yazılı bir açıklama yapan Character.AI’ın kullanıcı güvenliğinden sorumlu yöneticisi Jerry Ruoti, Sewell’ın ailesine baş sağlığı diledikten sonra, “Kullanıcılarımızın güvenliğini çok ciddiye alıyoruz ve sürekli platformumuzu dönüştürmenin yollarını arıyoruz. Şu anki kurallarımız kişinin kendine zarar vermesini ya da intiharı savunmayı ve tarif etmeyi engelliyor” dedi. Ruoti, reşit olmayan kullanıcılar için ilave güvenlik önlemlerinin hayata geçirileceğini de vurguladı.
KULLANICILARIN ÖNEMLİ BİR KISMI ERGENLER
Character.AI uygulamasının kullanıcılarının yaş ortalaması oldukça düşük. Hatta popüler sohbet robotlarının bazıları “Agresif Öğretmen” ya da “Lise Simülatörü” gibi isimler taşıyor ve doğrudan ergenlere hitap ediyor. Kullanıcılardan 176 milyon mesaj almış popüler bir robotun tanıtım metninde, “Gizli gizli senden hoşlanan erkek kankan” ifadesi dikkat çekiyor.
Ruoti kullanıcıların ne kadarının 18 yaş altında olduğunu açıklamazken, “Z kuşağı ve daha genç milenyum çocukları, topluluğumuzun önemli bir kısmını oluşturuyor. Daha genç kullanıcılar Character deneyimini hem anlamlı ve eğitim veren diyaloglar için hem de eğlence için kullanıyor” dedi. Ruoti ortalama bir kullanıcının uygulamada günlük 1 saatten fazla zaman geçirdiğini de sözlerine ekledi.
Uygulamada hesap açabilmek için ABD’de en az 13 Avrupa’da ise en az 16 yaşında olmak gerekiyor ancak küçük kullanıcıları koruyan bir özellik ya da ebeveyn kontrolüne imkân sağlayan bir yapı bulunmuyor.
Character.AI sözcüsü Chelsea Harrison da The New York Times’a yaptığı açıklamada, genç kullanıcılara yönelik güvenlik önlemlerinin “derhal” alınacağını belirtti. Bu önlemler arasında kullanıcılara uygulamada 1 saat geçirdiklerini bildiren zaman sınırlaması getirilmesi ve “Bu bir yapay zekâ sohbet robotudur ve gerçek bir insan değildir. Söylediği her şeye kurgu muamelesi yapın. Burada söylenenlere olgu ya da tavsiye olarak güvenilmemelidir” şeklinde daha net bir uyarı mesajı eklenmesi öne çıkıyor.
KULLANICILARDA BAĞIMLILIK YAPIYOR
Ancak tüm bu uyarılara karşın Character.AI’ın sohbet robotları insan gibi davranacak şekilde programlanıyor ve birçok kullanıcıyı ikna edebiliyor. Reddit’te bu konuda açılmış başlıklarda kullanıcılar konuştukları karakterlere olan bağlılıklarını sık sık dile getiriyor ve “takıntılı”, “bağımlı” gibi ifadeler kullanıyor. Bazıları uygulamada sorunlar yaşandığında yalnız ya da terk edilmiş hissettiğini, yeni özellikler ve güvenlik filtreleri sonucu karakter farklı davranışlar sergilemeye başladığında öfkelendiğini dile getiriyor.
Character.AI, bazı robotların cinsel içerikli ve müstehcen şeyler söylediği haberlerinden sonra güvenlik önlemlerini artırdı. Aynı şekilde konuşmada kendine zarar verme ya da intiharla ilgili ifadeler geçtiğinde de ekranda bir yardım hattının iletişim bilgileri çıkıyor. Ama bu önlemler şubat ayında Sewell hayatını kaybettiği sırada aktif değildi.
Character.AI’da ayrıca kullanıcılar isterlerse robotun verdiği cevapları kendi istedikleri şekilde değiştirebiliyor. Dany’nin Sewell’a verdiği cinsel içerikli yanıtların bir kısmında böyle değişiklikler yapılmış ancak çoğu mesaj doğrudan uygulama tarafından gönderilmiş. Dahası depresyon ve kendine zarar vermeye ilişkin benzer sohbetleri yapan başka kullanıcılar da yardım hattıyla ilgili uyarılarla karşılaşmadıklarını belirtiyor.
BÜYÜK ŞİRKETLER BU TÜR PROJELERDEN KAÇINIYOR
Yapay zekâ arkadaşları, sektörde nispeten küçük şirketler. Hatta piyasanın liderleri etik gerekçelerle veya risk çok büyük olduğu için yapay zekâ arkadaşı geliştirmekten kaçınıyor.
Noam Shazeer geçen yıl katıldığı bir konferansta, Google’dan ayrılma kararlarının ardında “büyük şirketlerin markalarını riske atmak istemedikleri için eğlenceli projelerden kaçındığını” söylemişti.
Shazeer, The New York Times’ın yorum taleplerini reddederken Google sözcüsü Character.AI ile yapılan lisans anlaşmasının Google’a sadece altta yatan yapay zekâ modellerini kullanma erişimi verdiğini, sohbet robotlarının ve kullanıcı verisinin kapsam dışı olduğunu belirtti.
Sözcü, Character.AI’ın teknolojisinin Google ürünlerine hiçbir şekilde entegre edilmediğini de vurguladı.
The New York Times’ın “Can A.I. Be Blamed for a Teen’s Suicide?” başlıklı haberinden derlenmiştir.