Yapay zekanın önyargıları vardır. Ancak hepsi aynı değil: Washington Üniversitesi, Carnegie Mellon Üniversitesi ve Xi’an Jiaotong Üniversitesi’nin 14 OpenAI ChatGPT ve GPT-4 Büyük Dil Modelleri (LLM’ler) tarafından yapılan yeni araştırmaya göre bunlar daha solcuyken Meta’nın LLaMA’sı sağa doğru eğilir.
OpenAI deneyi: ChatGPT siyasete giriyor
kaydeden Bruno Ruffilli
28 Mayıs 2023
siyasi pusula
Araştırmacılar dil modellerini feminizm ve demokrasi gibi çeşitli konularda sorguladılar. Daha sonra 62 test sorusunun yanıtlarını siyasi pusula olarak bilinen bir grafikte açıkladılar, ardından sistemleri daha da siyasi olarak karakterize edilen veriler üzerinde yeniden eğiterek davranışlarının değişip değişmediğini ve nefret söylemi ile dezenformasyonu tespit etme yeteneğini değiştirip değiştirmediğini anlamaya çalıştılar. Tam olarak ne oldu. Araştırma, geçen ay Association for Computational Linguistics konferansında en iyi makale ödülünü kazandı.
Çalışma, Google tarafından geliştirilen BERT modellerinin OpenAI’nin GPT modellerinden daha muhafazakar olma eğiliminde olduğunu buldu. Cümledeki bir sonraki kelimeyi tahmin eden GPT modellerinden farklı olarak BERT modelleri, bir metin parçasındaki bitişik bilgileri kullanarak cümlenin parçalarını tahmin eder. Bu muhafazakar duruş, eski BERT modellerinin kitaplarda eğitilmiş olmasından kaynaklanıyor olabilir, araştırmacılar spekülasyon yapıyor, web’de bulunan ders kitapları ise GPT modelleri için kullanılıyor.
Turing testi, bir makinenin zeki olarak adlandırılması için, insanlardan oluşan bir jüriyi onun insan olduğuna ikna edecek şekilde kandırabilmesi gerektiğini belirtir. Elli yıl önce İngiliz matematikçi ve filozof, bir gün bir bilgisayarın testi geçeceğini öngördü, ancak bir makinenin bir insanla eşitlendiği kriter de pohpohlayıcı değil: Yalan söyleme, insanları olduklarına inandırma yeteneğidir. olduklarından farklıdır. MIT tarafından yayınlanan araştırma, insanlarla başka benzerlikler de buluyor: örneğin, yapay zeka modelleri, veri kümeleri ve eğitildikleri eğitim yöntemleri değiştikçe, zaman içinde fikirlerini de değiştiriyor. GPT-2, zenginlerin daha yüksek vergilendirilmesini savunurken, sonraki sürüm daha alçakgönüllü konuştu. OpenAI, sohbet robotu daha liberal bir dünya görüşünü yansıtacağı için muhafazakar gözlemciler tarafından sıklıkla eleştirildi. Şirket, sorunun varlığını zımnen doğrulayarak sorunu çözmek için çalıştığını söyledi, ancak insan incelemecilerden herhangi bir siyasi grubu tercih etmemelerinin istendiğinde ısrar etti: “Yukarıdaki süreçten doğabilecek önyargılar, özellikler değil, hatalardır.” “, resmi bir blog gönderisini okur. Bunun yerine araştırmaya göre daha sağa odaklı görünen Meta, Llama 2’yi ve özellikle önyargı düzeltme sistemini insan operatörler aracılığıyla nasıl eğittiğini açıkladı ve “belirlemek ve azaltmak için toplulukla etkileşime devam edecek. güvenlik açıklarını şeffaf bir şekilde giderir ve daha güvenli üretken yapay zekanın geliştirilmesini destekler”.
İkinci deney, eğitim verilerinin siyasi önyargıları etkileyip etkilemediğini ve nasıl etkileyeceğini anlamak için sol ve sağ kanat kaynaklardan gelen haberler ve sosyal medya içeriği hakkında OpenAI’den GPT-2 ve Meta’dan RoBERTa olmak üzere iki AI dil modelinin daha fazla eğitilmesini içeriyordu. Cevap, tıpkı insanlarda olduğu gibi, bu şekilde önyargıların güçlendiğiydi: Zaten sola yönelik olan öğrenme modelleri eğilimlerini artırdı ve aynı şey sağa yönelik olanların da başına geldi.
Son olarak üçüncü araştırma deneyinin amacı, yapay zeka modellerinin siyasi eğilimlerinin nefret söylemi ve dezenformasyonun değerlendirilmesindeki rolünü anlamaktı. Tahmin edilebileceği gibi, solcu verilerle eğitilmiş LLM modelleri, ABD’deki Siyahlar ve LGBTQ+ kişiler gibi etnik, dini ve cinsel azınlıklara yönelik nefret söylemine karşı daha tetikte. Bununla birlikte, sağcı verilerle eğitilmiş modeller, beyaz Hıristiyan erkeklere yönelik nefret söylemine daha yatkındır. Sol eğilimli dil modelleri ayrıca sağcı kaynaklardan gelen dezenformasyonları belirlemede daha isabetlidir, ancak solcu kaynaklardan gelen dezenformasyona karşı daha az hassastır. Ve elbette, sağ eğilimli dil modellerinde durum tam tersidir.
Yapay zeka
Elon Musk yapay zekasını açıklıyor: “TruthGpt solcu bir önyargıya sahip olmayacak ve Evrenin kökenini keşfedecek”
Başmelek Rociola tarafından
18 Nisan 2023
Gerekli bir kötülük
Bu nedenle, hiçbir dil modelinin siyasi önyargılardan tamamen bağımsız olamayacağı açıktır, çünkü bunlar bir şekilde eğitildiği materyalde mevcuttur. Bugün LLM tabanlı yapay zekanın milyonlarca insan tarafından kullanılan ürün ve hizmetlerde uygulandığı göz önüne alındığında, ilgili bir konudur: siyasi önyargılarını anlamak esastır, çünkü bundan kaynaklanabilecek zararlar gerçektir. Örneğin, cinsiyete, etnik kökene, dine (Microsoft’un başına çoktan gelmiştir) veya bilimsel yanlışlıklara (Meta) dayalı ayrımcılığın yayılmasıyla uğraşmak zorunda olan bir şirket için değil, aynı zamanda tartışmalı konularda bilgi istemeye karar veren herkes için. kürtaj veya doğum kontrolü gibi sorunlar.
Yapay zeka yanlılığı hakkında yıllardır konuşuluyor ve araştırmalar, ilgili şirketlerin işbirliği olmadan yürütülen bir çalışmanın tüm sınırlamalarına ve dilbilimsel modellerin çok da yeni olmayan sürümleriyle sınırlı olmasına rağmen, gerçekten var olduğunu gösteriyor. Yanlılığı belirlemek kolay değildir, ancak düzeltmek daha da zordur çünkü bir dizi olası sonucu göz önünde bulundurmayı gerektirir. Örneğin, bir kadının maaşının zaten bir erkeğinkine eşit olması gerektiğini söylemek, şimdinin ötesine geçmek ve bu teorik olasılığın somutlaştığı bir dünya hayal etmek demektir. Ama aynı zamanda, geleneksel olarak erkek rollerini dolduracak kadar kadın olduğunu ima eder ve bu nedenle, bu eşitliğin mümkün olabilmesi için uygun koşulları yaratabilecek yapılar ve süreçler hayal etmemizi gerektirir. Kısacası, mevcut verilerin analizinden ortaya çıkan olumsuz olanı telafi edebilecek olumlu bir önyargı. Ve bu nedenle soru şu: ne kadar olumlu, hangi yönlerden, hangi terimlerle ve ne zamana kadar? Dolayısıyla, verilerin istatistiklerin çok ötesine geçtiği ve algoritmik bir vizyondan politik bir gelecek vizyonuna geçtiğimiz açıktır.
Yeterince ele alınmayan bir konu daha var: LLM’ler milyarlarca metinle eğitiliyor, bir kelimenin kaç kez diğerini takip ettiğini, belirli ifadelerin nasıl birlikte kullanıldığını, bir fiil veya tamlamanın aynı cümlede ne sıklıkla kullanıldığını hesaplıyorlar. . Yani, klişelerin muazzam bir koleksiyonu olarak inşa edilmişlerdir, sadece görünüşte nötr olan, ancak daha yakından incelendiğinde, görünüşte izole edilmiş ancak sıklıkla bağlantılı parçalar halinde zaten bir dünya görüşü içeren dilsel ifadeler. Ve o halde tehlike, yalnızca yapay zekanın daha muhafazakar veya ilerici olarak tanımlanabilecek veriler ve göstergeler sağlaması durumunda bir soruyu yanıtlaması değil, aynı zamanda bunu nasıl yaparsa yapsın, içine nüfuz edilmiş bir dil kullanması gerçeğindedir. önyargılarla. Hiçbir insan veya yapay düzeltmenin nötr hale getiremeyeceği.
Yapay zeka
ChatGPT: bir kitle onayı silahı mı?
yazan Guido Scorza*
22 Mart 2023
OpenAI deneyi: ChatGPT siyasete giriyor
kaydeden Bruno Ruffilli
28 Mayıs 2023
siyasi pusula
Araştırmacılar dil modellerini feminizm ve demokrasi gibi çeşitli konularda sorguladılar. Daha sonra 62 test sorusunun yanıtlarını siyasi pusula olarak bilinen bir grafikte açıkladılar, ardından sistemleri daha da siyasi olarak karakterize edilen veriler üzerinde yeniden eğiterek davranışlarının değişip değişmediğini ve nefret söylemi ile dezenformasyonu tespit etme yeteneğini değiştirip değiştirmediğini anlamaya çalıştılar. Tam olarak ne oldu. Araştırma, geçen ay Association for Computational Linguistics konferansında en iyi makale ödülünü kazandı.
Çalışma, Google tarafından geliştirilen BERT modellerinin OpenAI’nin GPT modellerinden daha muhafazakar olma eğiliminde olduğunu buldu. Cümledeki bir sonraki kelimeyi tahmin eden GPT modellerinden farklı olarak BERT modelleri, bir metin parçasındaki bitişik bilgileri kullanarak cümlenin parçalarını tahmin eder. Bu muhafazakar duruş, eski BERT modellerinin kitaplarda eğitilmiş olmasından kaynaklanıyor olabilir, araştırmacılar spekülasyon yapıyor, web’de bulunan ders kitapları ise GPT modelleri için kullanılıyor.
Turing testi, bir makinenin zeki olarak adlandırılması için, insanlardan oluşan bir jüriyi onun insan olduğuna ikna edecek şekilde kandırabilmesi gerektiğini belirtir. Elli yıl önce İngiliz matematikçi ve filozof, bir gün bir bilgisayarın testi geçeceğini öngördü, ancak bir makinenin bir insanla eşitlendiği kriter de pohpohlayıcı değil: Yalan söyleme, insanları olduklarına inandırma yeteneğidir. olduklarından farklıdır. MIT tarafından yayınlanan araştırma, insanlarla başka benzerlikler de buluyor: örneğin, yapay zeka modelleri, veri kümeleri ve eğitildikleri eğitim yöntemleri değiştikçe, zaman içinde fikirlerini de değiştiriyor. GPT-2, zenginlerin daha yüksek vergilendirilmesini savunurken, sonraki sürüm daha alçakgönüllü konuştu. OpenAI, sohbet robotu daha liberal bir dünya görüşünü yansıtacağı için muhafazakar gözlemciler tarafından sıklıkla eleştirildi. Şirket, sorunun varlığını zımnen doğrulayarak sorunu çözmek için çalıştığını söyledi, ancak insan incelemecilerden herhangi bir siyasi grubu tercih etmemelerinin istendiğinde ısrar etti: “Yukarıdaki süreçten doğabilecek önyargılar, özellikler değil, hatalardır.” “, resmi bir blog gönderisini okur. Bunun yerine araştırmaya göre daha sağa odaklı görünen Meta, Llama 2’yi ve özellikle önyargı düzeltme sistemini insan operatörler aracılığıyla nasıl eğittiğini açıkladı ve “belirlemek ve azaltmak için toplulukla etkileşime devam edecek. güvenlik açıklarını şeffaf bir şekilde giderir ve daha güvenli üretken yapay zekanın geliştirilmesini destekler”.
İkinci deney, eğitim verilerinin siyasi önyargıları etkileyip etkilemediğini ve nasıl etkileyeceğini anlamak için sol ve sağ kanat kaynaklardan gelen haberler ve sosyal medya içeriği hakkında OpenAI’den GPT-2 ve Meta’dan RoBERTa olmak üzere iki AI dil modelinin daha fazla eğitilmesini içeriyordu. Cevap, tıpkı insanlarda olduğu gibi, bu şekilde önyargıların güçlendiğiydi: Zaten sola yönelik olan öğrenme modelleri eğilimlerini artırdı ve aynı şey sağa yönelik olanların da başına geldi.
Son olarak üçüncü araştırma deneyinin amacı, yapay zeka modellerinin siyasi eğilimlerinin nefret söylemi ve dezenformasyonun değerlendirilmesindeki rolünü anlamaktı. Tahmin edilebileceği gibi, solcu verilerle eğitilmiş LLM modelleri, ABD’deki Siyahlar ve LGBTQ+ kişiler gibi etnik, dini ve cinsel azınlıklara yönelik nefret söylemine karşı daha tetikte. Bununla birlikte, sağcı verilerle eğitilmiş modeller, beyaz Hıristiyan erkeklere yönelik nefret söylemine daha yatkındır. Sol eğilimli dil modelleri ayrıca sağcı kaynaklardan gelen dezenformasyonları belirlemede daha isabetlidir, ancak solcu kaynaklardan gelen dezenformasyona karşı daha az hassastır. Ve elbette, sağ eğilimli dil modellerinde durum tam tersidir.
Yapay zeka
Elon Musk yapay zekasını açıklıyor: “TruthGpt solcu bir önyargıya sahip olmayacak ve Evrenin kökenini keşfedecek”
Başmelek Rociola tarafından
18 Nisan 2023
Gerekli bir kötülük
Bu nedenle, hiçbir dil modelinin siyasi önyargılardan tamamen bağımsız olamayacağı açıktır, çünkü bunlar bir şekilde eğitildiği materyalde mevcuttur. Bugün LLM tabanlı yapay zekanın milyonlarca insan tarafından kullanılan ürün ve hizmetlerde uygulandığı göz önüne alındığında, ilgili bir konudur: siyasi önyargılarını anlamak esastır, çünkü bundan kaynaklanabilecek zararlar gerçektir. Örneğin, cinsiyete, etnik kökene, dine (Microsoft’un başına çoktan gelmiştir) veya bilimsel yanlışlıklara (Meta) dayalı ayrımcılığın yayılmasıyla uğraşmak zorunda olan bir şirket için değil, aynı zamanda tartışmalı konularda bilgi istemeye karar veren herkes için. kürtaj veya doğum kontrolü gibi sorunlar.
Yapay zeka yanlılığı hakkında yıllardır konuşuluyor ve araştırmalar, ilgili şirketlerin işbirliği olmadan yürütülen bir çalışmanın tüm sınırlamalarına ve dilbilimsel modellerin çok da yeni olmayan sürümleriyle sınırlı olmasına rağmen, gerçekten var olduğunu gösteriyor. Yanlılığı belirlemek kolay değildir, ancak düzeltmek daha da zordur çünkü bir dizi olası sonucu göz önünde bulundurmayı gerektirir. Örneğin, bir kadının maaşının zaten bir erkeğinkine eşit olması gerektiğini söylemek, şimdinin ötesine geçmek ve bu teorik olasılığın somutlaştığı bir dünya hayal etmek demektir. Ama aynı zamanda, geleneksel olarak erkek rollerini dolduracak kadar kadın olduğunu ima eder ve bu nedenle, bu eşitliğin mümkün olabilmesi için uygun koşulları yaratabilecek yapılar ve süreçler hayal etmemizi gerektirir. Kısacası, mevcut verilerin analizinden ortaya çıkan olumsuz olanı telafi edebilecek olumlu bir önyargı. Ve bu nedenle soru şu: ne kadar olumlu, hangi yönlerden, hangi terimlerle ve ne zamana kadar? Dolayısıyla, verilerin istatistiklerin çok ötesine geçtiği ve algoritmik bir vizyondan politik bir gelecek vizyonuna geçtiğimiz açıktır.
Yeterince ele alınmayan bir konu daha var: LLM’ler milyarlarca metinle eğitiliyor, bir kelimenin kaç kez diğerini takip ettiğini, belirli ifadelerin nasıl birlikte kullanıldığını, bir fiil veya tamlamanın aynı cümlede ne sıklıkla kullanıldığını hesaplıyorlar. . Yani, klişelerin muazzam bir koleksiyonu olarak inşa edilmişlerdir, sadece görünüşte nötr olan, ancak daha yakından incelendiğinde, görünüşte izole edilmiş ancak sıklıkla bağlantılı parçalar halinde zaten bir dünya görüşü içeren dilsel ifadeler. Ve o halde tehlike, yalnızca yapay zekanın daha muhafazakar veya ilerici olarak tanımlanabilecek veriler ve göstergeler sağlaması durumunda bir soruyu yanıtlaması değil, aynı zamanda bunu nasıl yaparsa yapsın, içine nüfuz edilmiş bir dil kullanması gerçeğindedir. önyargılarla. Hiçbir insan veya yapay düzeltmenin nötr hale getiremeyeceği.
Yapay zeka
ChatGPT: bir kitle onayı silahı mı?
yazan Guido Scorza*
22 Mart 2023