Edge AI ve TinyML: Mikroyongada Yapay Zeka

"AI bulutta değil, cebinde"

LLM'ler bulut gücü ile çalışır. Ama her yerde AI istiyoruz:

• Hearing aid → konuşma tanıma.
• Akıllı saat → kalp ritmi anomali.
• Endüstriyel sensör → arıza tahmini.
• Tarım drone → bitki sağlığı.

Bunlar internet yok, batarya az, MB seviyesi bellek.

Edge AI ve TinyML: bu sınırlarda AI çalıştırma.

Skaladaki yer

Seviye	Bellek	Güç	Örnek
Bulut	TB+	kW	GPT-4
Sunucu	GB-TB	100W	RAG
Mobil	GB	W	Llama mobile
Edge	MB-GB	10W	Raspberry Pi
TinyML	KB-MB	mW	Arduino

Cihaz örnekleri

TinyML (en küçük)

• Arduino Nano 33 BLE Sense.
• Raspberry Pi Pico.
• STMicro Nucleo.

Edge AI

• Raspberry Pi 5.
• NVIDIA Jetson Nano.
• Google Coral.
• Apple Neural Engine.

Mobile AI

• iPhone Neural Engine.
• Snapdragon NPU.
• Samsung NPU.

Teknikler

Quantization

• 32-bit float → 8-bit int.
• 4x küçük + 4x hızlı.

Pruning

• Önemsiz nöronları sil.
• 10-90% küçültme.

Knowledge distillation

• Büyük model → küçük model.

Architecture search

• MobileNet, EfficientNet, MCUNet.

Hardware-software co-design

• ARM Cortex-M ARM Helium SIMD.
• NVIDIA Jetson CUDA.
• Apple Neural Engine.

Çerçeveler

TensorFlow Lite Micro

• TinyML standartı.
• Arduino, ARM mikrodenetleyici.

Edge Impulse

• TinyML platformu.
• Veri toplama → eğitim → deploy.

PyTorch Mobile

• iOS, Android.

Core ML (Apple)

• iOS native.

ONNX Runtime

• Çoklu platform.

NVIDIA TensorRT

• Jetson için optimize.

Uygulamalar

Hearing aid

Konuşma + gürültü ayrımı, gerçek zamanlı.

Smart watch

Düşme tespiti, kalp ritmi.

Endüstri

• Vibrasyon → arıza tahmini.
• Termal kamera → güvenlik.

Otonom drone

• DJI: object tracking.
• Skydio: obstacle avoidance.

Smart home

• Echo, Google Home: wake word detection.

Tarım

• John Deere: bitki sağlığı.
• Drone tabanlı zirai tarama.

Sağlık

• Dexcom CGM: glukoz tahmini.
• Apple Watch: AFib tespit.

TinyML challenges

Bellek

KB seviyesi RAM/ROM.

Güç

mW seviyesi → batarya ay/yıl ömrü.

Hız

Gerçek zamanlı: <100ms.

Sıcaklık

Bazı uygulamalarda -40°C → +85°C.

Maliyet

Yonga $1 altında.

Modern başarılar

Wake word detection

"Alexa", "Hey Siri" — TinyML klasiği.

Person detection

0.5W'da real-time → güvenlik kameraları.

Anomaly detection

Vibrasyon → arıza.

Voice commands

Cihazlar arası ses kontrolü.

Mobile LLM

Bir adım sonra: mobil cihazda LLM:

• Llama 3.2 1B/3B: telefonda çalışır.
• Gemma 2B.
• Phi-3 mini.
• MLC LLM: WebGPU üzerinden tarayıcıda.

iPhone 16: Apple Intelligence dahili.

Türkiye için

• ASELSAN: TinyML radar, görüş.
• Türkcell: edge AI ağ optimizasyon.
• Türk tarım: TÜBİTAK MAM zirai TinyML.
• Sağlık startuplar: Doctor.ai vb.

Avantajlar

• Gizlilik: veri cihazda kalır.
• Latency: ms seviyesi.
• Offline: internet gerekmez.
• Maliyet: bulut compute yok.
• Sürdürülebilirlik: az güç.

Sınırlamalar

• Model boyut: küçük model = daha az yetenek.
• Update: cihazda model güncelleme zor.
• Hata düzeltme: cihaza ulaşılamayabilir.

Edge vs Cloud kararı

Senaryo	Tercih
Düşük latency	Edge
Gizlilik kritik	Edge
Offline gerekli	Edge
Yüksek model gerekli	Cloud
Çoklu cihaz koordinasyon	Cloud

Federated Learning ile

Edge + Federated = cihazda eğit, paylaş ama veri taşıma.

Felsefe

Edge AI temel mesajı: "AI ulaşılabilir olmalı".

Bulut sadece zenginlere değil, cebindeki yongaya da.

Gelecek

• Daha küçük modeller: TinyLlama, Phi-3 mini.
• NPU her yerde: telefon, saat, kulaklık.
• Multimodal edge: ses + görüntü cihazda.
• Yarı-otonom drone: gerçek edge AI.

Türk üreticisi için fırsat

• Yerli IoT ekosistemi.
• Tarım, sağlık, endüstri TinyML.
• TÜBİTAK BİLGEM: edge AI altyapısı.

Kapanış

Edge AI ve TinyML, modern AI'in görünmez tarafı. Telefonunuz, saatiniz, otomobilinin sensörü — hepsinde AI var.

Bir mühendisin olgunluk işareti: hangi AI'in bulut, hangi AI'in edge olduğunu bilmek.

LLM çağında bile TinyML 100x büyüyen alandır.