Mistral AI: Avrupa'nın Açık Kaynak AI Çevabı

Avrupa'nın AI çağı

2023'e kadar AI yarışı ABD merkezliydi. OpenAI, Anthropic, Google, Meta. Avrupa'nın katkısı akademik (LeCun, Bengio Kanada Fransız) ama şirket yok.

2023 Mayıs'ta üç Fransız mühendis bunu değiştirdi: Arthur Mensch (DeepMind), Guillaume Lample (Meta), Timothée Lacroix (Meta). Mistral AI'ı Paris'te kurdular.

Kuruluştan 6 ay sonra: 2 milyar dolar değerleme. Ürün yok, ekip 20 kişi.

Mistral 7B (Eylül 2023)

İlk model: Mistral 7B. Llama 2 7B'den daha iyi. Apache 2.0 lisans (tam açık).

Teknik özellikler:

• Sliding window attention.
• Grouped Query Attention.
• 8K bağlam.

Açık ağırlık + iyi performans = viral. Hugging Face'te yıldız sayısı patladı.

Mixtral 8x7B (Aralık 2023)

İkinci model: Mixtral 8x7B. Sparse Mixture of Experts. 8 uzman, her token için 2 aktif.

Toplam parametre: 56B. Aktif: 13B. Hız 13B model gibi, performans 70B gibi.

Mixtral GPT-3.5'i çoğu benchmark'ta geçti. Açık kaynak modelin yeni standardı.

Strateji — "küçük + açık"

Mistral'in felsefesi:

1. Küçük modeller: 7B-22B range. Production'da pratik.
2. Açık ağırlıklar: Apache 2.0; ticari kullanım serbest.
3. Avrupa hosting: AB GDPR uyumlu.
4. API + model: Hem cloud hem self-hosted.

Bu strateji OpenAI ve Anthropic'ten farklı. Onlar büyük kapalı modeller; Mistral küçük açık.

Büyük modeller

Mistral sonradan büyük modeller de yayımladı:

• Mistral Large (2024): Kapalı.
• Mistral Large 2 (2024): Daha iyi.
• Mixtral 8x22B (2024): Daha büyük MoE.

Bu modeller GPT-4 ile rekabet eder ama Avrupa'da çalıştırılır.

Microsoft anlaşması (2024)

Şubat 2024'te Microsoft, Mistral'a 16M dolar yatırım yaptı + Azure entegrasyonu. Mistral Large Azure'da çalışır.

Bu, Avrupa'nın AI bağımsızlığı tartışmasını alevlendirdi. Mistral artık "Avrupa'nın" mı yoksa Microsoft'un Avrupa kanalı mı?

Avrupa AI mevzuatı

Mistral, EU AI Act tartışmalarının merkezindeydi. Arthur Mensch ve Mistral, AB regulasyonunu AI gelişimini engelleyici olarak eleştirdi.

Mistral lobbying başarılı: AB AI Act açık kaynak modeller için daha esnek.

Sade ders

Mistral hikâyesinden iki şey:

1. Avrupa AI'a katılabilir. ABD'nin ölçeği yok, ama akıllı strateji + açık kaynak = rekabetçi. Mistral bunu kanıtladı.
2. Açık kaynak strateji olabilir. Meta Llama'yı açık yaptı; Mistral aynı. Bu, OpenAI'ın kapalı modeline karşı etkili rekabet stratejisi.

Bağlam

Avrupa AI ekolünün diğer ayakları için: [[sepp-hochreiter-lstm-in-mucidi-ve-avrupa-ai-nin-sessiz-baba-figuru]], [[max-welling-hollanda-ai-akademisinin-baba-figuru]], [[alexis-conneau-xlm-r-ve-cok-dilli-llm-lerin-mimari]]. MoE için: [[mixture-of-experts-moe-genis-modeli-secici-olarak-calistirmak]]. Sliding window attention için: [[kv-cache-llm-belleginin-sessiz-darbogazi]]. Açık kaynak LLM için: [[tatsunori-hashimoto-stanford-da-llm-ler-icin-istatistiksel-perspektif]] (Alpaca).