Save and Share:
Mamba Nedir?
Mamba, Transformer mimarisine bir alternatif sunan, umut vadeden bir LLM mimarisidir. Güçlü yönleri, bellek verimliliği, ölçeklenebilirlik ve çok uzun dizileri işleyebilme yeteneğidir.
Mamba, Durum Uzayı Modelleri (SSM) ve Kapılı Çok Katmanlı Algılayıcı (MLP) mekanizmalarına dayanmaktadır.
Nasıl Çalışır?
- Giriş Projeksiyonu: Giriş dizisinin boyutu artırılır.
- Evrişimsel İşleme: Tek boyutlu evrişim ve bir aktivasyon fonksiyonu uygulanır.
- Kapılama: Giriş verileri ve projeksiyon sonuçları, eleman bazında çarpılır.
- Tekrarlama: Adım 2-3 birkaç kez tekrarlanabilir.
Mamba Mimarisi’nin Avantajları:
- Yüksek Performans: LAMBADA ve PIQA testlerinde mükemmel sonuçlar gösterir ve kendi boyutunun iki katı olan modelleri bile geride bırakır.
- Bellek Verimliliği: Geri yayılım sırasında yeniden hesaplama kullanarak, Flash Attention’a benzer şekilde bellek tasarrufu sağlar.
- Ölçeklenebilirlik: Özellikle işlem gücü ve model boyutu artırıldığında, uzun dizilerde Transformer++’dan daha iyi performans gösterir.
- Uzun Bağlam: Bir milyona kadar jetonu işleyebilir.
- Verimli Metin Kopyalama: Metin kopyalama görevlerinde mükemmeldir.