Arsitektur Mamba untuk Model LLM/AI

Apa itu Mamba?

Mamba adalah arsitektur LLM yang menjanjikan dan menawarkan alternatif dari arsitektur Transformer. Keunggulannya terletak pada efisiensi memori, skalabilitas, dan kemampuannya untuk menangani sekuens yang sangat panjang.

Mamba didasarkan pada Model Ruang Keadaan (State Space Model/SSM) dan mekanisme Gated Multilayer Perceptron (MLP).

Bagaimana Cara Kerjanya?

1. Proyeksi Input: Dimensi dari sekuens input ditingkatkan.
2. Pemrosesan Konvolusional: Konvolusi satu dimensi dan fungsi aktivasi diterapkan.
3. Gating: Data input dan hasil proyeksi dikalikan secara element-wise.
4. Pengulangan: Langkah 2-3 dapat diulang beberapa kali.

Keunggulan Arsitektur Mamba:

• Performa Tinggi: Menunjukkan hasil yang sangat baik pada tes LAMBADA dan PIQA, bahkan melampaui model yang dua kali lebih besar ukurannya.
• Efisiensi Memori: Memanfaatkan rekomputasi selama backpropagation, menghemat memori serupa dengan Flash Attention.
• Skalabilitas: Mengungguli Transformer++ pada sekuens panjang, terutama ketika daya komputasi dan ukuran model ditingkatkan.
• Konteks Panjang: Dapat memproses konteks hingga satu juta token.
• Penyalinan Teks yang Efisien: Unggul dalam tugas penyalinan teks.