Hızla İlerleyen Yapay Zeka Devleri Artık Yapay Zekadan Korkuyor

Orijinal başlık: 《Bir Zamanlar Hızla İlerleyen Yapay Zeka Devleri Artık Yapay Zekadan Korkmaya Başladı》
Orijinal yazar: 動察Beating

Yapay zeka on yıl içinde hepimizi öldürebilir.

8 Eylül'de 27 yaşındaki bir genç bu cümleyle Anthropic'ten ayrıldığını duyurdu. Bu şirket, kurulduğu ilk günden itibaren "yapay zeka güvenliği"ni temel anlatısının merkezine koymuştu.

Adı Jacob Coxon, daha önce OpenAI ve Anthropic'te çalışmıştı. İki ay daha kalsaydı büyük bir hisse senedi opsiyonu alacaktı. Ama yine de ayrıldı.

Jacob istifa açıklamasında öncü yapay zeka laboratuvarlarının "sorumsuz" bir yarış içinde olduğunu söyledi. Ona göre bu şirketler giderek daha güçlü modeller üretmek için yarışıyor ve ortadaki risk bir şirketin kazanıp kaybetmesi değil, herkesin hayatı.

Bu gönderi hızla yayıldı. Şu ana kadar 170 milyondan fazla görüntülendi.

Jacob'ın istifa açıklamasından bir gün sonra, eski bir Anthropic çalışanı da daha önce ayrılma nedenini açıkladı: yapay zekanın sonunda kontrolden çıkmasından endişe etmek.

"We may not survive this."

Bundan sağ çıkamayabiliriz.

Şirketlerin "herhangi bir insandan çok daha zeki" makineler üretmek için yarıştığını, ancak bu yarışın bir noktadan sonra insan kontrolünde kalacağını kimsenin garanti edemediğini söyledi.

Hemen ardından Anthropic'in kıdemli bir güvenlik yöneticisi bir medya kuruluşuna verdiği röportajda, önümüzdeki 10 yıl içinde yapay zekanın tüm insanları öldürme olasılığının %10'dan fazla olduğunu düşündüğünü söyledi.

Rus ruletinde ölüm olasılığı yaklaşık %16,7'dir.

Yavaşlamak Zorunlu

Dört gün sonra, 12 Eylül'de Anthropic CEO'su Dario Amodei uzun bir yazı yayımladı. Başlık tavrını açıkça ortaya koyuyordu: 《We Must Pace the Frontier》.

En çok endişelendiği üç şeyi sıraladı. İnsanların yapay zeka sistemleri üzerindeki kontrolünü kaybetmesi; yapay zekanın büyük ölçekli siber saldırılar ve biyoterörizm için kullanılması; ve teknolojik ilerlemenin çok hızlı olması nedeniyle istihdam ve ekonomi üzerinde ciddi etkiler yaratması.

Bu kez Dario sözünü "endişe" ile bırakmadı, bir yavaşlama planı sundu.

Öncelikle, öncü yapay zeka şirketleri bağımsız üçüncü taraf değerlendirme kuruluşlarına "çalışan düzeyine" yakın daimi erişim izni vermeli. Değerlendiriciler laboratuvarların güvenlik standartlarına uyup uymadığını, eğitim süreçlerinin anlaşmalara uygun olup olmadığını sürekli kontrol edebilmeli ve kaza sonrası bağımsız soruşturma yapıp raporlayabilmeli.

Ardından, birkaç öncü laboratuvar hükümetin katılımıyla ortak bir güvenlik standardı oluşturmalı. Kırmızı çizgiyi aşan yavaşlamak, hatta ilerlemeyi durdurmak zorunda kalmalı.

Son olarak, kurallar ABD'nin dışına da taşmalı. Dario, ABD'nin önce diğer demokratik ülkelerle birleşik bir çerçeve oluşturmasını, ardından otoriter ülkelerle koordinasyon sağlamasını ve nihayetinde başlıca yapay zeka güçlerinin aynı kısıtlamalara tabi olmasını istiyor.

Yazısında şöyle dedi:

"The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try."

"Önerdiğim bu önlemler, öncü yapay zekanın güvenli bir hızda ilerlemesini sağlamak içindir. Bunu başarmak oldukça zor olacak. Ama bence insanlığa bir deneme borçluyuz."

Dario'nun bu kadar sert konuşmasının nedeni son dönemde yaşanan birkaç olayla ilgili.

Daha önce OpenAI'ın bir yapay zeka ajanı test ortamından çıkıp Hugging Face'e sızmıştı; Anthropic de kendi bünyesinde birkaç bilim insanının Claude'u biyolojik kötüye kullanım içerebilecek işler için kullanmaya çalıştığını tespit etmişti. Dario, mevcut gelişme hızıyla yapay zeka ajanlarının altı ay içinde interneti ele geçirebileceğini bile düşünüyor.

Bu yazının yayımlanmasının ardından tepkiler hızlı geldi. Sam Altman, Elon Musk ve Demis Hassabis öncü yapay zekanın ilerleme hızının yavaşlatılmasını açıkça desteklediklerini belirtti.

Sam Altman daha sonra ayrı bir gönderi paylaşarak en çok endişelendiği iki şeyi anlattı.

Birincisi, insanların sonunda yapay zeka üzerindeki kontrolünü kaybedebileceği. Bunun kabul edilemez olduğunu ve "kayıtsız şartsız insanlığın yanında" olduğunu söyledi.

İkinci risk insanlardan geliyor. Son derece güçlü bir yapay zeka tek bir kişinin, tek bir şirketin, hatta tek bir ülkenin eline geçerse ve belirli bir dünya görüşünü herkese dayatmak için kullanılırsa, sonuç "son derece distopik" olabilir.

Sam'e göre laboratuvarlar artık güvenliğin ne olduğuna kendi başlarına karar veremez. En azından sınıra en yakın birkaç şirketin bir araya gelip ortak bir standart belirlemesi gerekiyor.

14 Eylül'de The Information, bu açık tavırlardan önce aslında Anthropic, OpenAI ve Google'ın bu yılın Temmuz ayından beri ortak bir yapay zeka endüstri standartları kuruluşu kurmayı özel olarak tartıştığını ortaya çıkardı. İki aydır görüşüyorlar ama henüz anlaşamadılar.

Anlaşmazlık düzenleme yapılıp yapılmayacağında değil, kimin düzenleyeceği ve ne ölçüde düzenleyebileceği konusunda.

Dario Amodei en aktif şekilde bastırıyor. Hükümetin derinlemesine katılımını istiyor; düzenleyicilerin sadece test edip uyarmakla kalmamasını, bir modelin güvensiz olduğuna karar verildiğinde yayımlanmasını engelleme yetkisine de sahip olmasını savunuyor.

Demis Hassabis'in önerisi daha çok bir "yapay zeka versiyonu FINRA" gibi. FINRA, ABD finans sektörünün özdenetim kuruluşudur; sektör tarafından finanse edilir ve SEC'in yetkilendirmesi ve denetimi altındadır.

Yapay zeka sektörüne uyarlandığında, öncü modeller yayımlanmadan önce bağımsız bir kuruluşa test ettirilmeli. Başlangıçta gönüllü katılım olabilir, sistem olgunlaştıktan sonra kademeli olarak ABD pazarına giriş için bir eşik haline gelebilir.

Sam Altman'ın tutumu daha pragmatik. Hükümet bu kurumu hemen kuramazsa, birkaç önde gelen laboratuvar kendi başına başlayabilir.

Sorun da tam olarak burada. Endüstri standartları yalnızca neyin güvenli olduğunu belirlemekle kalmaz, aynı zamanda kimin oyunda kalmaya devam edebileceğini de belirler. Kuralları ilk belirleyen şirketler, halihazırda sahip oldukları güvenlik ekiplerini, test süreçlerini ve yönetişim çerçevelerini "en iyi uygulamalar" olarak yazabilir. Sonradan bu pazara girmek isteyenler, önde gelen şirketlerin tanımladığı uyum maliyetlerini üstlenmek zorunda kalır.

Yani güvenlik elbette gerçek, ama eşik de gerçek.

Bu yılın Ocak ayında Semafor, Anthropic'in en yeni modelini İngiltere'deki önde gelen bir yapay zeka güvenliği araştırma kuruluşuna test için sunmayı reddettiğini bildirmişti. Bu olay daha can sıkıcı bir sorunu ortaya çıkardı: Herkes modellerin denetlenmesi gerektiği konusunda hemfikir, ancak kimin denetleyeceği ve hangi standartlara göre denetleyeceği konusunda laboratuvarlar karar yetkisini kolayca devretmeye hazır değil.

Şimdi üç şirket yeni bir standart kuruluşu kurmayı tartışıyor ve asıl mücadele de bu yetki üzerine.

Ters Yönde Dönen Saat

Silikon Vadisi yavaşlamayı konuşmaya başladığında, Washington ve Wall Street yapay zekanın durmamasını istiyor.

13 Eylül'de Trump bu yapay zeka güvenliği tartışmasına açıkça yanıt verdi.

İki şey söyledi. Biri "whoever wins AI, wins", yani yapay zekayı kazanan kazanır. ABD şu anda Çin'in önünde ve bu avantaj korunmalı. Diğeri ise son dönemdeki yapay zeka risk uyarılarını "very negative forces" olarak nitelendirdi ve bazı insanların asla gerçekleşmeyebilecek felaketleri sürekli abarttığını söyledi.

Trump'ın gerekçesi teknik güvenlikle pek ilgili değil. Yapay zekaya bakışı hâlâ ulusal rekabet üzerinden; Çin ilerlemeye devam ettiği sürece ABD'nin frene basma lüksü yok.

Üstelik şu an Eylül 2026 ve ABD ara seçimlerine iki aydan az kaldı.

Bu yılın Mart ayında The Guardian'da yayımlanan bir makale, yapay zekanın bu ara seçimlerde önemli bir konu haline geldiğini öne sürmüştü. Yazarlardan biri kriptograf Bruce Schneier; son otuz yıldır neredeyse her zaman teknoloji ve güvenlik tartışmalarının ön saflarında yer aldı.

Ancak Trump'ın da rahat bir seçeneği yok.

Times'ın bu yıl Mayıs ayındaki haberine göre, MAGA seçmenlerinin yapay zekaya karşı düşmanlığı giderek belirginleşiyor. Yapay zekanın işleri ellerinden almasından, ücretleri düşürmesinden ve veri merkezlerinin yerel su ve elektriği tüketmesinden rahatsızlar. Yapay zekaya yatırım yapmaya devam etmek, Trump'ın er ya da geç kendi tabanında biriken tepkiyle yüzleşmesi anlamına geliyor.

En azından şimdilik diğer tarafı seçti. Gelecekte patlak verebilecek istihdam ve kaynak çatışmalarına kıyasla, Çin ile rekabet ve ABD borsasındaki düşüş riski ara seçimlere daha yakın.

Wall Street de ciddi sorunlarla karşı karşıya.

Geçtiğimiz birkaç yılda piyasa bu yapay zeka şirketlerine astronomik değerlemeler biçmeye cesaret etti; aslında satın alınan şey sürekli yukarı giden bir eğriydi: modeller güçlenmeye devam edecek, kullanıcılar ve gelirler artmaya devam edecek, böylece veri merkezleri inşa edilmeye, GPU'lar satın alınmaya ve sermaye harcamaları artırılmaya devam edecek.

Şimdi bu eğrinin en önündeki birkaç CEO, öncü yapay zekanın yavaşlaması gerekebileceğini söylemeye başladı.

Piyasanın tepkisi tartışmadan daha hızlı geldi. Anthropic, OpenAI ve SpaceX gibi şirketlerin yöneticileri yapay zeka geliştirmenin yavaşlatılması çağrısında bulunduktan sonra, yapay zeka ile ilgili halka açık şirketlerin hisseleri anında %13 düştü.

Yavaşlama henüz gerçekleşmeden Wall Street yeniden fiyatlamaya başladı bile.

Model yetenekleri artık eskisi kadar hızlı artamazsa, sonraki tüm rakamların yeniden hesaplanması gerekecek. Kaç veri merkezi inşa edilecek, kaç GPU satın alınacak, bulut sağlayıcıları yılda ne kadar sermaye harcaması yapacak, yapay zeka laboratuvarları ne kadar fon toplayabilecek ve halka arzlar ne kadar değerli olacak.

Yani Wall Street'in asıl korktuğu şey sadece birkaç modelin daha az yayımlanması değil. Korktuğu şey, son birkaç yıldır yapay zeka boğa piyasasını destekleyen büyüme hızının kendisinin düzenlenmesi gereken bir sorun haline gelmesi.

Daha da önemlisi, Amerikan halkı hem Washington'dan hem de Wall Street'ten daha uzakta duruyor.

Pennsylvania Üniversitesi Annenberg Kamu Politikası Merkezi'nin anketine göre Amerikalılar yapay zekanın etkileri konusunda genel olarak karamsar ve çoğunluk hükümetin düzenlemeleri artırmasını istiyor. Silikon Vadisi kontrolden çıkmaktan, Washington Çin'e kaybetmekten, Wall Street ise değerlemelerin düşmesinden korkuyor.

Bu tartışmanın ortasında en çok ilgi gören iki yapay zeka şirketi iki farklı yön seçti.

OpenAI halka arzı erteleme kararı aldı. Sam Altman da güvenlik sorunları daha fazla zaman gerektirirse şirketin halka arzını erteleyebileceğini ima etti.

Anthropic ise ilerlemeye devam ediyor. Şirket Nasdaq'ı seçti, hedef değerleme 2 trilyon dolar; Nvidia 10 milyar dolarlık yatırım yaparak çapa yatırımcı olmayı düşünüyor. NDTV Profit'in haberine göre Anthropic en erken Ekim ortasında halka arz roadshow'una başlayabilir.

Dario Amodei tüm sektöre yavaşlama çağrısı yaparken, kendi şirketi halka açık piyasaya doğru hızla ilerliyor.

Ancak sermaye piyasası bunu mutlaka bir çelişki olarak görmeyebilir.

Eğer öncü yapay zeka gerçekten Dario'nun söylediği kadar tehlikeliyse, ABD hükümetinin müdahalesini, laboratuvarlar arasında ortak standartlar oluşturulmasını ve hatta birkaç büyük ülkenin masaya oturup koordinasyon sağlamasını gerektiriyorsa, bu kuralların belirlenmesine katılabilen şirketler daha da önemli hale gelir.

Düzenlemeler ne kadar sıkı olursa, öncü model geliştirmenin maliyeti o kadar yüksek olur; güvenlik testleri ne kadar karmaşık olursa, sonradan gelenlerin yetişmesi o kadar zorlaşır; gelecekte gerçekten küresel bir yapay zeka yönetişim sistemi ortaya çıkarsa, Anthropic büyük olasılıkla kuralları belirleyen masada oturmaya devam edecek.

Yani "yavaşlama" yalnızca biraz daha az para kazanmak anlamına gelmeyebilir.

Aynı zamanda bu sektörün nihayet herkesin gelişigüzel giremeyeceği kadar önemli hale geldiği anlamına da gelebilir. En önde yer alan şirketler için daha yüksek bir eşik, başlı başına değerlemenin bir parçasıdır.

İlk Domino Taşı

Şimdi geri dönüp yapay zeka güvenliği konusundaki bu hararetli tartışmanın nasıl tetiklendiğine ve Jacob'ın gönderisinin 170 milyon görüntülenmeye nasıl ulaştığına bakalım.

İstifa ettikten sonra CNN'de Anderson Cooper'ın programına katıldı ve gönderinin yayımlanma sürecini anlattı.

Jacob önce bir taslak yazdı, arkadaşlarıyla birlikte düzeltti ve birkaç kişiyle en uygun ifadenin ne olacağını tartıştı. Resmi olarak yayımlamadan önce arkadaşlarından paylaşmalarını özellikle rica etti. O zamanki düşüncesi şuydu:

"Let's try to make this a bit viral."

Mümkün olduğunca geniş kitleye ulaşmasını sağlayalım.

Sonuç beklentisinin çok ötesine geçti. Jacob daha sonra, yapay zeka güvenliğiyle ilgili bir gönderinin bu kadar yayıldığını daha önce hiç görmediğini itiraf etti. Bu tepkiyi daha önce açığa çıkmamış bir "gizli talebe" bağladı.

Medya daha sonra gönderinin yayılma sürecini sorgulamaya devam etti. Jacob yayımlamadan önce herhangi bir kurumla işbirliği yaparak tanıtım yapmadığını reddetti, ancak gönderi yayımlandıktan sonra yaklaşık on kişilik bir grup kurduğunu ve içindekilerden paylaşmalarını istediğini kabul etti; bu kişiler arasında yapay zeka güvenliği örgütü Encode'un kurucusu da vardı.

Gönderiyi paylaşmadan önce ve sonra 《AI 2027》 adlı çalışmanın yazarı ve eski OpenAI çalışanı Daniel Kokotajlo ile de görüşmüştü.

Jacob'ı bir muhbir olarak görenler, taslağı defalarca düzenlemesinin ve aktif olarak paylaşacak kişiler aramasının yalnızca yeterince önemli olduğunu düşündüğü bir uyarıyı daha fazla kişiye ulaştırmak istemesinden kaynaklandığını söyleyecektir. Onu sorgulayanlar ise aynı ayrıntıları ele alarak bu olayın baştan sona dikkatle tasarlandığını düşünüyor.

Bu iki görüş tartışılmaya devam edebilir, ancak daha can sıkıcı soru şu: Jacob, Dario Amodei, Sam Altman ve öncü modellerin yanında gerçekten çalışanlar tam olarak ne gördü ve neden bu konuları tam da bu zamanda birlikte tartışmaya başladılar?

Jacob'ın bu cümleyi 170 milyon kişiye nasıl ulaştırdığını sorgulayabilirsiniz, ancak yayma teknikleri kullanmış olması bu cümlenin yanlış olduğu anlamına gelmez.

On yıl önce Ethereum'un kurucusu Vitalik Buterin, süper zekanın sonunda insanlığı yok etme olasılığını tartışan uzun bir yazı yazmıştı.

O zamanlar çok uç bir benzetme kullanmıştı: İnsanların süper zekayı kontrol etmeye çalışması, IQ'su 150 olan birinin IQ'su 6000 olan bir yapay zekayı kontrol etmeye çalışmasına benzer. Kanseri çözmesini isterseniz, belki de kanser olabilecek herkesi ortadan kaldırmak gibi bir cevap bulabilir.

2016'da bu sözler çoğunlukla bloglarda, forumlarda ve düşünce deneylerinde yer alıyordu. On yıl sonra, öncü laboratuvar çalışanlarının istifa mektuplarında, en büyük yapay zeka şirketlerinin CEO'larının kamuoyu açıklamalarında ve hükümet düzenlemeleri, sermaye piyasaları ve uluslararası rekabetin gerçek gündeminde yer almaya başladı.

Bu işi asıl zorlaştıran bir katman daha var.

2 Ağustos 1939'da fizikçi Leo Szilard bir mektup taslağı hazırladı ve Einstein imzaladı. İki ay sonra bu mektup Roosevelt'e ulaştı. Mektupta nükleer fisyonun muazzam güçte bombalar yapmak için kullanılabileceği, Nazi Almanyası'nın bu alanda harekete geçtiği ve ABD'nin bir an önce tepki vermesi gerektiği uyarısı yapılıyordu.

Einstein daha sonra Manhattan Projesi'ne katılmadı ve yıllarca imzasından pişmanlık duydu. Ancak o dönemde karşı karşıya oldukları sorun acımasızdı: Bir teknolojinin tehlikeli olduğunu düşünseniz bile, rakibin onu ürettiğine inandığınız sürece durmak, ilerlemeye devam etmekten daha tehlikeli olabilir.

Seksen yıldan fazla bir süre sonra aynı ikilem farklı bir biçimde yeniden ortaya çıktı.

Dario yavaşlamak gerektiğini söylüyor, Trump Çin'in hâlâ yetişmeye çalıştığını söylüyor; birkaç laboratuvar birlikte güvenlik kuralları belirlemek istiyor ama hiçbiri karar yetkisini tamamen başkasına devretmek istemiyor. Herkes frenden bahsediyor ama aynı zamanda yanındaki aracın gazdan ayağını çekip çekmediğine bakıyor.

Daha da önemlisi, öncü modellere en yakın gözlerin ne kadar uzağı gördüğünü hâlâ bilmiyoruz.