Sağduyu AI: Bir Bebek Bilir, ama GPT-4 Bilmez

"Buzdolabı kapısı" problemi

Bir 3 yaşındaki bebek bilir:

• "Buzdolabı kapısı açıkken bir şey çıkar."
• "Bardağı ters çevirirsen su dökülür."
• "Yağmurda dışarı çıkarsan ıslanırsın."

Modern LLM'lere bu soruları sor. Cevap çoğunlukla doğru ama bazen tuhaf:

"Bardağı ters çevirdiğimde su nereye gider?"
Llama 2: "Su yere veya bardağa düşer..."

Bu belirsizlik sağduyu eksikliğinin somut göstergesi.

Common Sense — tanımı

Sağduyu (common sense):

• Günlük yaşam olguları.
• Fiziksel dünya (ısı, çekim, akışkanlar).
• Sosyal kurallar (saygı, beklenti).
• Zamansal sıralama (önce-sonra).
• Nedensellik (yağmur → ıslak).

İnsan 5 yaşına kadar bunların çoğunu öğrenir. AI için çok zor.

Niye AI zor?

Sebep: çoğu bilgi açıkça yazılmaz. Hiç kimse "elini fırına dokunma, sıcak" diye blog yazmaz. Bebek deneyimle öğrenir.

LLM internetten metin okur. Metinde örtük sağduyu olur ama açık değil. Model dolaylı yoldan öğrenir, eksik kalır.

Cyc projesi — 40 yıllık çaba

1984'te Doug Lenat Cyc projesini başlattı. Sağduyu kurallarını elle yazmak: "Suç yapan kişi cezalandırılır", "Sıcak nesneler yakar", milyonlarca kural.

40 yıl, 25 milyon dolar. Sonuç: kısıtlı başarı. Sağduyu elle yazılamayacak kadar geniş.

Cyc başarısızlığı modern AI için ders: bilgi tabanı + kural yaklaşımı yetmez. Veri tabanlı modeller gerek.

ATOMIC (2019) — modern yaklaşım

Choi ve ark. ATOMIC veri setini yayımladı: 800K sağduyu eğer-o zaman ilişkisi.

Örnek:

• Olay: "X tencereye sıcak su koyar."
• Sonuç: "Tencere ısınır."
• Nedeni: "X yemek pişirecek."

Bu veri seti modern sağduyu modellerinin eğitim materyali.

COMET — sağduyu üretimi

COMET (Choi ve ark., 2019): ATOMIC üzerine eğitilmiş model. Yeni sağduyu üretebiliyor.

Sorgu: "X arabasını çalıştırdı."
COMET: "Sonuç: arabası ileri hareket eder. Nedeni: gitmesi gerek. Önce: X arabasına bindi."

Bu üretim, sağduyu çıkarımını gösterir.

Modern LLM'lerde sağduyu

GPT-4, Claude 3 sağduyu testlerinde iyi ama mükemmel değil:

• PIQA (fiziksel sağduyu): ~%85.
• SocialIQA (sosyal): ~%80.
• Winogrande (sözel zekâ): ~%90.
• İnsan referansı: %95-100.

Modern modeller yaklaşıyor ama kapanmıyor. Sebep: temel paradigma sınırı.

"Lambda kalkulus" problemi

Choi'nin ünlü örneği: GPT-4'e mantıksal soru sor:

"Eğer A then B. Not B. A ve B'nin durumu nedir?"

Mantıksal cevap: Not A. GPT-4 genelde doğru der.

Soru biraz değiştir:

"Eğer Alice gelirse Bob mutlu olur. Bob mutlu değil. Alice geldi mi?"

GPT-4 yanlış cevap verme oranı yüksek. Aynı mantık, farklı bağlam.

Bu, LLM'in mantığı kalıp olarak öğrendiğini gösterir. Gerçek logik yapamaz.

Çözüm yaklaşımları

1. Tool use: Mantık için ayrı solver çağır.
2. Bilgi grafı + LLM: Yapılandırılmış sağduyu ekle.
3. Embodied AI: Robotlar fiziksel deneyimden öğrenir.
4. Curriculum learning: Çocuk gibi aşamalı öğrenme.

Hiçbiri tek başına çözüm değil. Modern eğilim: karma.

"Bitter Lesson" vs Choi

Rich Sutton "Bitter Lesson" tezi: yapı kurmak yerine ölçek arttır. Veri ve hesap kazanır.

Choi karşı: Sağduyu için yapı gerek. Sade ölçek yetmez.

Bu tartışma modern AI'nın temel paradigma sorusudur.

Sade ders

Sağduyu AI hikâyesinden iki şey:

1. Bilgi türü matters. Açık metin + olgu = LLM iyi. Örtük yaşam bilgisi = LLM zayıf. Veri türü modelin yeteneklerini belirler.
2. Akademik eleştiri pratik faydaya çevrilir. Choi'nin "sağduyu yok" eleştirisi modern RAG, tool use, embodied AI çalışmalarını yönlendiriyor. Eleştiri ilerleme yaratır.

Bağlam

Yejin Choi için: [[yejin-choi-sagduyu-ai-nin-en-aktif-akademik-sesi]]. Klasik AI için: [[allen-newell-yapay-zekanin-bilissel-mimari]] (sembolik). Tool use için: [[function-calling-llm-ye-arac-vermek]]. Embodied AI için: [[pieter-abbeel-robotik-ve-pekistirmeli-ogrenmenin-pratik-yuzu]]. Knowledge Graph için: [[knowledge-graphs-yapilandirilmis-bilginin-anatomisi]].