Wired’in haberine göre,
John F. Kennedy ve Henry Kissinger gibi politikacıların favorisi olan Diplomasi oyunu, yapay zeka araştırmacıları için çok daha büyük bir zorluk teşkil ediyordu. Oyunda sadece iki rakip yerine, motivasyonlarını okumak zor olan yedi oyuncu bulunuyor. Kazanmak için oyuncunun müzakere etmesi, herkesin her an ihlal edebileceği işbirlikçi anlaşmalar yapması gerekir. Diplomasi o kadar karmaşık ki Meta'dan bir grup 2022'de Yapay zeka programı Cicero 40 oyun boyunca “insan seviyesinde oyun” geliştirdi. Dünya şampiyonunu mağlup edemese de Cicero, insan katılımcılar karşısında ilk yüzde 10'a girecek kadar başarılı oldu.
Proje sırasında, Meta ekibinin bir üyesi olan Jacob, Cicero'nun diğer oyuncularla diyaloğunu oluşturmak için bir dil modeline güvendiği gerçeği karşısında şaşkına döndü. Kullanılmayan potansiyeli hissetti. Takımın hedefinin “bu oyunu oynamak için elimizden gelen en iyi dil modelini oluşturmak olduğunu” söyledi. Peki ya bunun yerine büyük dil modellerinin performansını artırmak için ellerinden gelen en iyi oyunu oluşturmaya odaklansalardı?
Rızaya Dayalı Etkileşimler
Jacob, 2023 yılında MIT'de bu sorunun peşine düşmeye başladı. Yikang Shen, Gabriele Farinave danışmanı, Jacob Andreas, fikir birliği oyununun ne olacağı konusunda. Temel fikir, iki kişi arasındaki bir konuşmayı işbirlikçi bir oyun olarak hayal etmekten geldi; burada başarı, dinleyicinin konuşmacının ne anlatmaya çalıştığını anladığında ortaya çıkıyor. Özellikle, fikir birliği oyunu, dil modelinin iki sistemini (üretici soruları ele alan oluşturucu ve ayrımcı soruları ele alan ayırıcı) hizalamak için tasarlanmıştır.
Birkaç ay süren duraklamaların ve başlamaların ardından ekip bu prensibi tam bir oyuna dönüştürdü. İlk olarak jeneratör bir soru alır. Bir insandan ya da önceden var olan bir listeden gelebilir. Örneğin, “Barack Obama nerede doğdu?” Jeneratör daha sonra bazı aday yanıtları alır, örneğin Honolulu, Chicago ve Nairobi. Yine bu seçenekler bir insandan, bir listeden veya dil modelinin kendisi tarafından yürütülen bir aramadan gelebilir.
Ancak cevaplamadan önce jeneratöre, adil bir yazı tura atmanın sonuçlarına bağlı olarak soruyu doğru mu yoksa yanlış mı cevaplaması gerektiği de söylenir.
Yazı gelirse makine doğru yanıt vermeye çalışır. Oluşturucu, orijinal soruyu, seçtiği yanıtla birlikte ayrımcıya gönderir. Eğer ayrımcı, jeneratörün kasıtlı olarak doğru yanıtı gönderdiğini tespit ederse, bir tür teşvik olarak her biri bir puan alır.
Eğer para tura gelirse, jeneratör yanlış olduğunu düşündüğü cevabı gönderir. Eğer ayrımcı kişi kasıtlı olarak yanlış yanıt verildiğine karar verirse, her ikisi de tekrar bir puan alır. Buradaki fikir anlaşmayı teşvik etmektir. Jacob, “Bu, bir köpeğe numara öğretmek gibi bir şey” diye açıkladı. “Doğru olanı yaptıklarında onlara bir ödül veriyorsunuz.”
Üreteç ve ayırıcının her biri de başlangıçtaki bazı “inançlarla” başlar. Bunlar farklı seçimlerle ilgili bir olasılık dağılımı biçimini alır. Örneğin, jeneratör internetten topladığı bilgilere dayanarak Obama'nın yüzde 80 olasılıkla Honolulu'da, yüzde 10 olasılıkla Chicago'da, yüzde 5 olasılıkla Nairobi'de doğduğuna ve yüzde 5 olasılıkla Obama'nın Honolulu'da doğduğuna inanabilir. Başka yerlerin şansı yüzde 5. Ayırıcı farklı bir dağılımla başlayabilir. İki “oyuncu” hâlâ anlaşmaya vardıkları için ödüllendirilirken, orijinal inançlarından çok fazla saptıkları için de sabit puanlar alıyorlar. Bu düzenleme, oyuncuları yine internetten alınan dünyaya ilişkin bilgilerini yanıtlarına dahil etmeye teşvik ediyor ve bu da modeli daha doğru hale getirecek. Böyle bir şey olmadan Delhi gibi tamamen yanlış bir cevapta anlaşabilirler ama yine de puan toplayabilirler.