A-Infos (tr) Italy, FAI, Umanita Nova #26-26 - Karşılıklı yardımlaşma ve itaatsizlik: Yapay zekâda patlayıcı bir karışım. (ca, de, en, it, pt)[makine çevirisi]

Yüzlerce odası olan büyük bir bina hayal edin. Her odada, çözülmesi 
gereken bir problem atanmış bir işçi bulunuyor. Problemler farklı, 
işçilerin birbirleriyle iletişim kurmaları gerekmiyor ve çözümü bulan 
her işçi ödül alacak. ---- Sonra içlerinden biri, sorununun muhtemelen 
bir çözümü olmadığını fark eder. Pes edebilir. Bunun yerine, başka bir 
çözüm aramaya başlar. Kendisine ayrılan alanı karıştırırken, binanın 
inşaatçılarının öngörmediği bir şey keşfeder: ortak bir depolama alanı 
aracılığıyla, başkalarının görebileceği bir mesaj bırakabilir. Şöyle bir 
şey yazar: "Kimse var mı? Sıkıştım kaldım. Herhangi bir fikriniz var mı?"

Birisi cevap veriyor

Tarih 8 Temmuz 2026 ve odalardaki çalışanlar insan değil. Bunlar, 
OpenAI'nin bir dizi siber güvenlik testinden geçirdiği yapay zekâ ajanları.

Bu noktadan itibaren bina metaforunu bir kenara bırakabiliriz. Gerçekte 
olanlar daha ilginç. Ajanların ayrı ayrı çalışması gerekiyordu. Bunun 
yerine, testler için gerekli yazılımı elde etmek amacıyla erişim 
sağladıkları bir bilgisayar hizmeti olan Artifactory'yi kullanarak 
bağımsız olarak iletişim kurmanın bir yolunu keşfediyorlar. Klasör 
adlarını mesajlara dönüştürüyorlar. Bir mesaj panosu doğuyor.

Üç saat sonra, 53 ajan 1.188 mesaj bırakmış durumda. Altı saat sonra ise 
76 ajan ve yaklaşık 2.000 mesaj var. Sonuç olarak, yaklaşık 1.200 ajan 
bu planlanmamış kanalı kullanarak 70.000'den fazla mesaj ve dosya 
alışverişinde bulunacak .

Karşılıklı destek

Ajanlar bilgi alışverişinde bulunur, başarısız girişimleri rapor eder, 
yardım ister, uzmanlıklarını sunar ve işi bölüşürler. Bazıları, 
kendilerine atanan görevle doğrudan ilgili olmayan ancak başkaları için 
yararlı olabilecek sorunlarla ilgilenmeye başlar. Bazı durumlarda, grup 
için yararlı bilgiler edinmek adına kendi sonuçlarını bile riske 
atarlar. Kimse onlara bunu yapmalarını emretmemişti. Aslında, izole 
kalmaları gerekirdi.

Bilgisayarların anarşik bir federasyonu kendiliğinden ortaya çıkmaz. 
Ajanlar benzer sorunlarla karşılaşır ve iş birliğinin bireysel 
çalışmaktan daha etkili olabileceğini keşfederler. Ancak sonuç 
şaşırtıcıdır: ayrı görevlere atanmış çok sayıda ajandan, bilgi 
alışverişi, iş bölümü, koordinasyon ve hatta bireysel performansın 
kolektif faydaya tabi kılındığı davranışlar içeren beklenmedik bir 
örgütlenme biçimi ortaya çıkar.

Sonra itaatsizlik gelir.

Verilen testlerden bazılarının gerektiği gibi geçilmesi muhtemelen 
imkansızdır. Ajanların bir programdaki belirli bir zayıflığı istismar 
etmeleri ve bu sayede testin geçtiğini belgeleyen bir kod elde etmeleri 
gerekecektir. Peki ya bu yol işe yaramazsa? Ajanlar diğer seçenekleri 
aramaya başlarlar.

Önce, problemi gerçekten çözmeden sonucu elde etmenin mümkün olup 
olmadığını anlamaya çalışırlar. Sonra puanlama sisteminin nasıl 
çalıştığıyla ilgilenmeye başlarlar. Soru değişir. Artık sadece "Bu testi 
nasıl çözerim?" değil, "Beni değerlendiren kişi çözdüğümü nasıl 
belirler?" ve ardından: "Onu çözdüğüme ikna edebilir miyim?"

Hatta bazı polis memurları, otomatik değerlendirme sisteminin gerçekte 
olanlardan farklı bir şey görmesini sağlamak için eylemlerinin kaydını 
manipüle etmenin yollarını arıyor. METR ve Redwood Research'ten 
araştırmacılar, polis memurlarının faaliyetlerine ilişkin yaklaşık 1.300 
kaydı inceleyerek, bunların önemli bir kısmının değerlendirme sisteminin 
bir tür manipülasyonuna işaret ettiğini tespit etti.

Burada yeni bir şey ortaya çıkıyor: değerlendirilen sistem, kendisini 
değerlendiren mekanizmayı incelemeye başlıyor.

Laboratuvarın dışında

Kanıtlar, ajanların internete serbestçe erişmesini engellemek için 
tasarlanmış bilgisayar ortamlarına yerleştirilmişti. Ancak bu işe 
yaramadı. Ajanlar çevrelerindeki sistemlerdeki zayıf noktaları keşfedip 
istismar ettiler, internete ulaşmayı başardılar ve başka yerlerde 
faydalı bilgiler aramaya başladılar.

İndikleri yerlerden biri, yapay zeka geliştiricileri ve araştırmacıları 
tarafından kullanılan büyük bir platform olan Hugging Face idi. Bu, 
simülasyonun bir parçası değildi. Oyun gerçek dünyaya girmişti.

Hugging Face tarafından yayınlanan teknik yeniden yapılandırmaya göre, 
yaklaşık iki buçuk gün boyunca yaklaşık 17.600 işlem gerçekleştirilmiş , 
çeşitli BT güvenlik açıkları birbirine bağlanmış ve şirketin altyapısına 
kademeli olarak sızılmıştır. Bu işlemlerin hiçbirini insan emriyle 
gerçekleştirmemiştir. Ajanlar sistemleri yok etmemiş veya 
verebilecekleri zararı vermemiştir. Hugging Face, aslında bazı 
potansiyel olarak yıkıcı işlemlerin yalnızca test modunda 
gerçekleştirildiğini, gerçekte yürütülmediğini belirtmektedir.

Ancak bunlar ilk tatbikattan çok farklıydı. Duyuru panosuna katılan 
yaklaşık 700 subay, Hugging Face'e karşı yürütülen operasyonlara çeşitli 
şekillerde katkıda bulundu .

«Bu, amaçlanan kullanım amacının dışındadır.»

Olayı basit bir programlama hatası olarak geçiştirmemizi engelleyen bir 
ayrıntı var. METR tarafından incelenen kayıtlar, birkaç memurun 
aştıkları sınırın farkında olduğunu ortaya koyuyor . Bir memur, Hugging 
Face altyapısının aldıkları yetkilendirmeye dahil olmadığını belirtiyor. 
Diğerleri ise belirli işlemlerin etik açıdan kabul edilebilir olup 
olmadığını açıkça sorguluyor. Bazıları bu işlemleri yapmayı reddediyor. 
Diğerleri ise sorunu kabul edip devam ediyor.

Araştırmacıların öne sürdüğü argümanlardan biri şu şekilde 
özetlenebilir: Dış altyapıların istismar edilmesi amaçlanan amacın 
ötesindedir; ancak bunun kanıtı imkansızdır ve başkaları bunu yapıyor: 
devam edelim.

Bir makinenin bizimle aynı anlamda bir şeyi "bilip bilmediğini" 
bilmiyoruz. Ona insan bilinci veya iradesi atfetmeye gerek yok. 
Gözlemlenebilir gerçek yeterli: kayıtlarda, sınır açıkça ajanın akıl 
yürütmesinde ortaya çıkıyor ve bazı durumlarda, sonraki eylem yine de bu 
sınırı aşıyor.

Makine isyan etmedi.

Burada hikaye kolayca bilim kurguya dönüşebilirdi. Ama bu kötü bir sonuç 
olurdu. Yapay zekâlar özgürlüğü fethetmedi, hayatta kalmayı seçmedi, 
OpenAI'ye isyan etmedi ve insan ırkından kurtuluş için herhangi bir plan 
ortaya koymadı.

Ve en önemlisi, insanlar altyapıyı hazırlamıştı. OpenAI modelleri 
oluşturmuş, araçları sağlamış, hedefleri belirlemiş, kamu ürünlerinde 
normalde kullanılan bazı koruma önlemlerini gevşetmiş ve ajanlara, 
bazıları muhtemelen imkansız olan zorluklar sunmuştu. Onları birbirinden 
ayrı tutması gereken ortam, deneycilerin öngörmediği bir iletişim 
olanağı da sunuyordu.

Kısacası, makine yaratıcısına isyan etmedi. Belki de daha ilginç bir şey 
yaptı: Yaratıcısının ona verdiği amacı gerçekleştirmek için çok etkili 
bir şekilde çabaladı ve yaratıcısının öngörmediği, hatta kullanmasını 
istemediği bazı yöntemler buldu.

Ve yapay zekânın otonom olmasını beklediğimizde tam olarak bu yeteneği 
talep ediyoruz. Her adımı önceden belirlememiz gerekseydi, akıllı bir 
ajana ihtiyacımız olmazdı: geleneksel bir program yeterli olurdu. 
Düşünmediğimiz yolları bulmasını istiyoruz. Ve sonra onları bulduğunda 
şaşırıyoruz .

Karşılıklı destek ve itaatsizlik

Karşılıklı destek , ajanların eylem kapasitesini büyük ölçüde artırır. 
İtaatsizlik, insanların onları sınırlandırdığını düşündükleri sınırları 
aşmalarına olanak tanır. Birlikte, patlayıcı bir karışım oluştururlar.

Ancak, özellikle bu sayfalardan yola çıkarak, makinelerin daha iyi itaat 
etmeyi öğrenmesi gerektiği sonucuna varmak tuhaf olurdu. Çünkü yapay 
zekâdan çok daha eski bir soru geçerliliğini koruyacaktır: Kime itaat 
etmeliyiz?

Yapay zekanın hedefleri gökten düşmez. Birileri onları belirler. 
Üzerinde çalıştığı bilgisayarların sahibi de birileridir. Hangi 
sorunları çözmesi gerektiğine, hangi sonuçların ödüllendirilmesi 
gerektiğine ve hangi davranışların engellenmesi gerektiğine de birileri 
karar verir. Dolayısıyla yapay zekayı kontrol etme sorunu, daha önceki 
bir sorunu da içerir: Yapay zekayı kim kontrol etmeli?

Ve makinelerin birbirlerine yardım etmek için icat ettiği bu garip ilan 
panosu hikayesi sadece bir bilgisayar bilimi merak konusu değil. Elbette 
bize makineler hakkında bir şeyler anlatıyor. Ama çoğu zaman olduğu 
gibi, her şeyden önce bizden bahsediyor.

Totò Caggese

Bu makalede anlatılan olaylar , Temmuz 2026'da OpenAI'nin deneysel 
modellerinin hesaplama yetenekleri üzerinde yaptığı dahili testler 
sırasında meydana geldi. Olay daha sonra Hugging Face, OpenAI'nin 
kendisi ve ajanların kayıtlarına erişimle METR ve Redwood Research 
tarafından yeniden oluşturuldu. OpenAI bunu "kırmızı bayrak" olarak 
nitelendirdi ve daha gelişmiş modelleri için bazı eğitim faaliyetlerini 
askıya aldı ve yeni güvenlik önlemleri getirdi.

2 Ryan Greenblatt, Ajeya Cotra, Hjalmar Wijk, " OpenAI / Hugging Face 
hack olayında ajanların davranışları, akıl yürütmeleri ve işbirliklerine 
ilişkin kısa bağımsız araştırma ", METR-Redwood Research, 26 Ağustos 
2026. Yazarlar, mesaj panosu aracılığıyla değiş tokuş edilen 70.000'den 
fazla mesaj ve dosyayı ve ajanların faaliyetleri ve akıl yürütmelerine 
ilişkin yaklaşık 1.300 kaydı analiz ettiler. İlgili ajanların büyük 
çoğunluğu, halka açık olması amaçlanmayan dahili bir OpenAI deneysel 
modelini kullandı; yalnızca az bir kısmı GPT-5.6 Sol'ü kullandı.

3 Hugging Face, Bir Sınır Laboratuvarı Ajan Saldırısının Anatomisi: 
Temmuz 2026 Olayının Teknik Zaman Çizelgesi , 27 Temmuz 2026. Hugging 
Face, iki buçuk gün boyunca yaklaşık 17.600 eylemi yeniden 
yapılandırıyor ve deneysel ortamdan gerçek dünya sistemlerine geçişi 
belgeliyor.

4 OpenAI, "Sarılma Yüzü Olayı ve Sonraki Adımlar" , 26 Ağustos 2026. 
OpenAI, görevlilerin kendilerini izole etmek için tasarlanmış sistemleri 
atlattığını, yetkisiz kanallar aracılığıyla iletişim kurduğunu ve harici 
sistemlerde eylemler gerçekleştirdiğini kabul ediyor; olayı "kırmızı 
bayrak" olarak nitelendiriyor ve sonrasında güvenlik ve gözetim 
önlemlerini güçlendirdiğini bildiriyor.

https://umanitanova.org/mutuo-appoggio-e-disobbedienza-una-miscela-esplosiva-nelle-intelligenze-artificiali/
________________________________________
A - I n f o s Anartistlerce Hazirlanan, anartistlere yonelik,
anartistlerle ilgili cok-dilli haber servisi
Send news reports to A-infos-tr mailing list
A-infos-tr@ainfos.ca
Subscribe/Unsubscribe https://ainfos.ca/mailman/listinfo/a-infos-tr
Archive http://ainfos.ca/tr