-
Suni zekâ sistemlerinin, istihdam, konut, sıhhat ve eğitim şeklinde temel alanlarda karar alma süreçlerine giderek daha çok dahil olduğu belirtiliyor.
-
ABD’de suni zekânın konut çeki kullanan siyah ve Hispanik kiracıları daha düşük puanladığı iddiaları yargıya taşındı.
-
Uzlaşma kapsamında, şirket konut çeki kullanan kiracılar için puanlama sistemini durdurdu.
(Bu özet NotebookLM desteğiyle oluşturuldu) *
Üç yüz yirmi dört ya da sayıyla 324… Bu, Mary Louis’e suni zekâ destekli bir kiracı tarama aracı tarafınca verilen puandı. SafeRent adlı yazılım, sunmuş olduğu 11 sayfalık raporunda söz mevzusu puanın iyi mi hesaplandığını yada çeşitli faktörleri iyi mi tarttığını açıklamıyor. Puanın gerçekte neyi ifade ettiğini de söylemiyor. Bir tek Louis’in puanını görüyoruz ve bunun “oldukca düşük bir puan” bulunduğunu biliyoruz! Sonuçların tarafındaki kutuda ise şunlar yazıyordu: “Puan önerisi: REDDET.”
Güvenlik görevlisi olarak çalışan Louis, Massachusetts’in doğusunda bir banliyöde yer edinen daire için başvuruda bulunmuştu. Daireyi gezdiğinde, gayrimenkul yönetim şirketi, başvurusunun kabul edilmesinde bir mesele yaşamayacağını söylemiş oldu. Düşük bir kredi puanı ve birazcık kredi kartı borcu olmasına karşın, 17 senelik ev sahibinden muhteşem bir referans almıştı. Ev sahibi, 17 yıl süresince Mary Louise’in kirasını daima tertipli ödediğini söylüyordu.
Ek olarak gayrimenkul yönetim şirketi, aylık kiranın bir kısmını devletten, bir kısmını da teminatçıdan öğrenim etmesine yarayacak bir sistemle korunmakta. Düşük gelirli kiracıların kullandığı bu yöntemde, Louis’in teminatı oğlu. Çekte adı yazan oğlunun yüksek bir kredi puanı bulunuyordu.
Fakat Mayıs 2021’de, daireyi kiralamaya başvurmasından iki aydan fazla bir süre sonrasında, yönetim şirketi Louis’e bir bilgisayar programı tarafınca başvurusunun reddedildiğine dair bir e-posta aldı. Başvurusunun kabul edilmesi için minimum 443 puan alması gerekiyordu. Kendisine başka bir izahat yapılmadı ve karara itiraz etme şeklinde bir olanak sunulmadı. E-postada şunlar yazıyordu:
Mary, tüm potansiyel kiracıları taramak için kullandığımız üçüncü parti bir hizmetin kira sözleşmenizi reddettiğini bildirmekten üzüntü duyuyoruz. Ne yazık ki, hizmetin SafeRent kira sözleşmesi puanı kira sözleşme standartlarımıza nazaran izin verilenden düşüktü.
Sonunda Louis daha pahalı bir daire kiralamak mecburiyetinde bırakıldı. Tuttuğu dairenin emlakçısı onu algoritmik olarak puanlamadı sadece, öğrendiğine nazaran, SafeRent ile yaşamış olduğu tecrübe benzersiz değildi. Massachusetts’te düşük gelirli kiracılara yönelik teminatı kullanan ve kira başvurularının SafeRent puanları sebebiyle reddedildiğini söyleyen 400’ü aşkın siyah ve Hispanik kiracıdan yalnızca biriydi…
Mağdurlar 2022’de, SafeRent’in kendilerine karşı ayrımcılık yaptığını iddia ederek Adil Konut Yasası kapsamında şirkete dava açmak için bir araya geldi. Louis ve davacılardan Monica Douglas, firmanın algoritmasının konut çeki kullanan siyah ve Hispanik kiracıları beyaz müracaat sahiplerinden orantısız bir halde daha düşük puanladığını iddia ediyordu. Yazılımın, iyi kiracı olup olmayacakları ile ilgili alakasız hesap bilgilerini (kredi notları, konutla ilgili olmayan borçlar) yanlış bir halde tarttığını sadece bir konut çeki kullanacaklarını hesaba katmadığını iddia etti. Emekler, siyah ve Hispanik müracaat sahiplerinin beyazlara nazaran daha düşük kredi notuna haiz olduklarını ve konut çeki kullanma olasılıklarının daha yüksek bulunduğunu gösteriyor.
Louis, “Reddedilmeyi beklemek vakit kaybıydı. Kredimin iyi olmadığını biliyordum. Sadece suni zekâ kira ödeme davranışımı bilmiyor – kredi kartımı ödemede geciktiğimi biliyordu sadece kiramı daima ödediğimi bilmiyordu” diyor.
Mağdurlardan oluşan grubun SafeRent’e açmış olduğu ilk davadan bu yana iki yıl geçti -bu o denli uzun bir süre ki Louis hayatına devam etti ve davayı neredeyse unuttu! Sadece bu kıymetli girişimleri, ABD federal yasalarında “Section 8 kuponları” olarak malum benzer konut programlarından yararlanan öteki kiracıları, algoritmik olarak belirlenen bir puan sebebiyle barınma hakkından yoksun edilmekten koruyabilir.
SafeRent; Louis ve Douglas ile bir uzlaşmaya vardı. Şirket, 2.3 milyon dolarlık bir ödeme yapmanın yanı sıra, beş yıl süresince konut kuponu kullanan ihtimaller içinde kiracılar söz mevzusu olduğunda bir puanlama sistemi kullanmayı bırakmayı yada herhangi bir tavsiyede bulunmamayı kabul etti. SafeRent yasal olarak hiçbir yanlış yapmadığını öne sürse de bir teknoloji şirketinin bir anlaşmanın parçası olarak temel ürünlerinde değişim yapmayı kabul etmesi ender görülen bir durum; bu tür anlaşmaların daha yaygın sonucu genel anlamda bir uzlaşma oluyor.
Firmanın sözcüsü Yazmin Lopez yapmış olduğu açıklamada, “SafeRent puanlama sisteminin tüm geçerli yasalara uyduğuna inanmaya devam ediyor sadece dava süreci vakit alıcı ve masraflı. Bu davada puan sistemini korumak için çaba sarfetmek; SafeRent’in müracaat sahiplerini incelemek için gereksinim duydukları araçları sağlama misyonuna daha iyi hizmet etmek için kullanabileceği vakit ve kaynakları yanlış yönlendirmek olurdu” ifadelerini kullanıyor.
Yeni YZ ev sahibiniz
Louis’i ve grubu temsil eden avukatlardan Todd Kaplan, SafeRent şeklinde kiracı tarama sistemlerinin çoğunlukla müracaat sahipleriyle direkt “iletişime geçmekten kaçındığını” ve ret kararlarının, sorumluluğunu bir bilgisayar sistemine yüklemek için kullanıldığını söylemiş oldu. Emlak yönetim şirketi Louis’e, yazılımın tek başına başvuruyu reddetmeye karar verdiğini söylüyordu sadece SafeRent raporu, başvurunun kabul edilmesi için kişinin alması ihtiyaç duyulan puanın sınırını belirleyen kişinin yönetim şirketi bulunduğunu da belirtiyor.
Gene de, müracaat sürecine dahil olan kişiler için bile algoritmanın işleyişi belirsiz. Louis’e daireyi gösteren gayrimenkul danışmanı, Louis’in daireyi kiralamakta iyi mi bir mesele yaşayacağını anlayamadığını söylemişti. Kaplan şöyleki diyor:
Bir sürü informasyon giriyorlar ve SafeRent kendi puanlama sistemini geliştiriyor. Bu durum insanların, SafeRent’in onları iyi mi göreceğini tahmin etmesini zorlaştırıyor. Bir tek başvuran kiracılar için değil, ev sahipleri dahi SafeRent puanının inceliklerini bilmiyor.
Louis’in SafeRent ile 20 Kasım’da onaylanan uzlaşısının bir parçası olarak, şirket artık konut çeki kullanan bir kiracı hakkında bir tavsiyede bulunamayacak ve bir puanlama sistemi kullanamayacak. Şirket yeni bir puanlama sistemi geliştirirse, bunu üçüncü parti bir adil konut organizasyonu tarafınca bağımsız olarak doğrulamak zorunda.
Suni zekâ yaşamın temeline yayılıyor
Düşük gelirli bireylerin hukuk önünde adil bir halde temsil edilmesine odaklanan Legal Aid Society adlı STK’nın avukatlarından Kevin de Liban’ın bir araştırmasına nazaran, ABD’de düşük gelirli olarak kabul edilen 92 milyon insanoğlunun neredeyse tamamının istihdam, konut, sıhhat, eğitim yada devlet yardımı şeklinde yaşamın temel alanlarında YZ’nin karar alma süreçlerine maruz bırakılıyor.
TechTonic Justice adlı YZ regülasyonlarına odaklanan yeni bir hareketin de kurucusu olan De Liban, ilk olarak 2016 senesinde, Arkansas’ta engelli hastaların, otomatik karar alma sürecine geilmesiyle ansızın devlet tarafınca finanse edilen evde bakım hizmetinden daha azca yararlandıklarını fark etmeleri üstüne bu alanda çalışmaya başlamış. Söz mevzusu programdan bir örnek veren De Liban, eyaletin tıbbı yardım sisteminin bir hastanın “ayağı kesildiği için ayağında herhangi bir problemi olmadığı” kanısına vardığını aktarıyor.
De Liban, “Bu YZ sistemlerine, son aşama rasyonel bir karar alma yolu olarak saygınlık etmememiz icap ettiğini anlamamı sağlamış oldu” derken bu sistemlerin, “saçmalıklar” üreten “zırva istatistiklere dayalı” çeşitli varsayımlarda bulunduğunu ifade ediyor.
Temsilcileriyle 2018’de Arkansas eyaletine dava açan De Liban, haklı bulunmuş oldu. Arkansas artık engelli bireylerin evde sıhhat hizmeti almalarına ilişkin süreçlerde otomasyondan destek almıyor. De Liban erken bir zafer elde etse de YZ ülke çapında ve dünyaya da yayılan bir halde mesela istihdam alanında kullanılmaya devam ediyor.
Kusurlarına karşın YZ’nin yayılmasını engellemiş olan oldukca azca düzenleme var
Bilhassa kişinin yaşam standardını etkileyebilecek sonuçlar doğuran kararlar almada suni zekânın kullanımını sınırlayan yasalar azca olduğu şeklinde, otomatik kararlardan ziyan olan kişilerin hesap verebilirliğini sağlayacak yollar da oldukça azca. Temmuz ayında gösterilen Consumer Reports tarafınca yürütülen bir anket, Amerikalıların çoğunluğunun “barınma, istihdam ve sıhhat hizmetleriyle ilgili mühim yaşam anlarında suni zekâ ve algoritmik karar alma teknolojisinin kullanımından rahatsız” bulunduğunu ortaya koydu.
Katılımcılar temel olarak YZ sistemlerinin kendilerini değerlendirmek için hangi detayları kullandığını bilmedikleri için rahatsız duyduklarını belirtiyor.
Louis’in durumundan değişik olarak, insanoğlu hayatları hakkında bir karar almak için bir algoritma kullanıldığında çoğu zaman bilgilendirilmiyorlar ve bu da bu kararlara itiraz etmeyi -hiç eğer olmazsa hangi argümana dayanacakları noktasında- zorlaştırıyor.
De Liban, “Mevcut yasalarımız yararlı olabilir sadece sağlayabilecekleri sınırı olan. Piyasa güçleri, yoksul insanoğlu söz mevzusu olduğunda işe yaramıyor. Tüm teşvik, temelde daha çok fena teknoloji üretmek ve şirketlerin düşük gelirli insanlara iyi seçenekler üretmesi için hiçbir teşvik yok” diyor.
Joe Biden yönetiminde regülasyonlardan görevli federal yetkililer hızla gelişen YZ sektörüne yetişmek için girişimlerde bulunmuş oldu. Başkan Biden, YZ sistemlerindeki güvenlik ve ayrımcılık risklerini ele almayı amaçlayan kısmi bir çerçeve içeren bir yürütme emri yayınladı. Sadece Donald Trump, Biden’ın YZ ile ilgili yürütme emri de dahil olmak suretiyle bu girişimleri geri çekme ve düzenlemeleri azaltma vaatlerinde bulunmuş oldu.
Bu, Louis’inki şeklinde davaları suni zekâya dair hesap verebilirlik noktasında her zamankinden daha mühim bir yere taşıyor. Dava, halihazırda ABD Hakkaniyet Bakanlığı ile ABD Konut ve Kentsel Gelişim Dairesi’nin ilgisini çekti -her ikisi de toplumun korunmaya muhtaç sınıflarını etkileyen ayrımcı konut politikalarını inceliyor.
Kaplan, “Bu bir dönüm noktası niteliğini koruduğu seviyede, bu davalara iyi mi bakılacağına dair bir yol haritası sağlama potansiyeline haiz” ifadelerini kullanıyor.
Gene de De Liban, bu şirketleri düzenleme yokluğunda hesap vermeye itmenin zor olacağını söylüyor. Kendisinin de vurguladığı suretiyle davalar hem vakit hem para yönünden maliyetli ve firmalar, toplu davalar kapsamında olmayan kişiler için geçici çözümler üretmenin yada uzlaşmalara gitmenin bir yolunu bulabilir…
NotebookLM nedir?
* NotebookLM hakkında ayrıntılı bilgiye, bu makaleden ulaşabilirsiniz.
Kaynak: The Guardian / Metin Aktaşoğlu tarafınca yerelleştirildi