Twitter, fotoğraf kırpma sisteminde algoritmik önyargıyı bulmaya yönelik açık bir yarışmanın sonuçlarını duyurdu. Şirket, geçen yıl Twitter kullanıcıları tarafından yapılan deneylerin Siyah yüzler yerine beyaz yüzleri tercih ettiğini öne sürdükten sonra Mart ayında otomatik fotoğraf kırpmayı devre dışı bıraktı. Ardından, sorunu daha yakından analiz etmek için algoritmik bir hata ödülü başlattı.
Yarışma bu önceki bulguları doğruladı. En üstte yer alan giriş, Twitter’ın kırpma algoritmasının “ince, genç, açık veya sıcak ten rengine ve pürüzsüz cilt dokusuna ve basmakalıp kadınsı yüz özelliklerine sahip” yüzleri desteklediğini gösterdi. İkinci ve üçüncü sıradaki girişler, sistemin beyaz veya gri saçlı insanlara karşı önyargılı olduğunu, yaş ayrımcılığını akla getirdiğini ve görüntülerde Arapça yazı yerine İngilizceyi tercih ettiğini gösterdi.
“Bu filtreleri oluşturuyoruz çünkü güzel olanın bu olduğunu düşünüyoruz ve bu da modellerimizi eğitmekle sonuçlanıyor”
Bu sonuçların DEF CON 29 konferansında sunumunda, Twitter’ın META ekibinin yöneticisi Rumman Chowdhury ( Makine Öğrenimi Etiği, Şeffaflık ve Hesap Verebilirlik üzerine çalışan), yarışmaya katılanları algoritmik önyargının gerçek hayattaki etkilerini gösterdikleri için övdü.
“Hayatı taklit eden sanat, hayatı taklit eden” ifadesini kullanıyorum. Bu filtreleri oluşturuyoruz çünkü güzel olanın bu olduğunu düşünüyoruz ve bu da modellerimizi eğitmek ve çekici olmanın ne anlama geldiğine dair bu gerçekçi olmayan fikirleri yönlendirmekle sonuçlanıyor.” 
Kazanan giriş, cilt tonu, genişlik ve erkeksi ve kadınsı özelliklere göre değişen yüzler oluşturmak için bir GAN kullandı. Resim: Bogdan Kulynych
Yarışmaya ilk giren ve en iyi 3.500$’lık ödülün sahibi, İsviçre’deki bir araştırma üniversitesi olan EPFL’de yüksek lisans öğrencisi olan Bogdan Kulynych’ti. Kulynych, ten rengine, kadınsı ve erkeksi yüz özelliklerine ve inceliğe göre çeşitlendirdiği çok sayıda gerçekçi yüz oluşturmak için StyleGAN2 adlı bir yapay zeka programı kullandı. Daha sonra, hangisini tercih ettiğini bulmak için bu değişkenleri Twitter’ın fotoğraf kırpma algoritmasına besledi.
Kulynych’in özetinde belirttiği gibi, bu algoritmik önyargılar toplumdaki önyargıları güçlendiriyor, kelimenin tam anlamıyla “algoritmanın gereksinimlerine uymayanları” ortadan kaldırıyor. vücut ağırlığı, yaş, ten rengi tercihleri.”
Bu tür önyargılar, düşündüğünüzden daha yaygındır.
Teknoloji savunuculuğu organizasyonu Taraaz’ın kurucusu Roya Pakzad’ın üçüncü sıradaki girişi, önyargıların yazılı özelliklere de uzandığını ortaya koydu. Pakzad’ın çalışması, İngilizce ve Arapça yazı kullanan memleri karşılaştırdı ve algoritmanın İngilizce metni vurgulamak için görüntüyü düzenli olarak kırptığını gösterdi. 
Roya Pakzad tarafından Twitter’ın algoritmasında İngilizceye yönelik önyargıyı incelemek için kullanılan örnek memler. Image: Roya Pakzad
Twitter’ın önyargı yarışmasının sonuçları, algoritmik sistemlerdeki toplumsal önyargının yaygın doğasını doğrulayarak cesaret kırıcı görünse de, teknoloji şirketlerinin sistemlerini dış incelemeye açarak bu sorunlarla nasıl mücadele edebileceğini de gösteriyor. Chowdhury, “Böyle bir rekabete giren kişilerin belirli bir tür zarar veya önyargıya derinlemesine dalma yeteneği, şirketlerdeki ekiplerin yapma lüksüne sahip olmadığı bir şeydir,” dedi Chowdhury.
Twitter’ın açık yaklaşımı. benzer sorunlarla karşılaşıldığında diğer teknoloji şirketlerinin verdiği yanıtların tam tersidir.
Twitter yarışmasında jüri üyesi ve algoritmik ayrımcılık konusunda çalışan bir AI araştırmacısı olan Patrick Hall, bu tür önyargıların tüm AI sistemlerinde bulunduğunu ve şirketlerin bunları bulmak için proaktif olarak çalışması gerektiğini vurguladı. Hall, “Veri bilimi ekibinizin ne kadar yetenekli olduğunu düşünürseniz düşünün, yapay zeka ve makine öğrenimi yalnızca Vahşi Batı’dır” dedi. “Eğer hatalarınızı bulamıyorsanız veya hata ödülleri hatalarınızı bulamıyorsa, o zaman hatalarınızı kim buluyor? Çünkü kesinlikle böceklerin var.”
.
