Mamba arhitektūra LLM/AI modeļiem

Kas ir Mamba?

Mamba ir daudzsološa LLM arhitektūra, kas piedāvā alternatīvu Transformer arhitektūrai. Tās stiprās puses ir atmiņas efektivitāte, mērogojamība un spēja apstrādāt ļoti garas sekvences.

Mamba pamatā ir Stāvokļu telpas modeļi (SSM) un Vārtejumu daudzslāņu perceptrona (MLP) mehānismi.

Kā tas darbojas?

1. Ievades projekcija: Tiek palielināts ievades sekvences dimensionalitāte.
2. Konvolucionālā apstrāde: Tiek pielietota viendimensionāla konvolūcija un aktivācijas funkcija.
3. Vārtejums: Ievades dati un projekcijas rezultāti tiek reizināti pa elementiem.
4. Atkārtošana: 2.–3. soļus var atkārtot vairākas reizes.

Mamba arhitektūras priekšrocības:

• Augsta veiktspēja: Uzrāda izcilus rezultātus LAMBADA un PIQA testos, pārspējot pat divreiz lielākus modeļus.
• Atmiņas efektivitāte: Izmanto pārrēķināšanu atpakaļizplatīšanas laikā, ietaupot atmiņu līdzīgi kā Flash Attention.
• Mērogojamība: Pārspēj Transformer++ garās sekvencēs, īpaši palielinot skaitļošanas jaudu un modeļa izmēru.
• Gars konteksts: Var apstrādāt kontekstu līdz pat miljonam tokenu.
• Efektīva teksta kopēšana: Izcili veic teksta kopēšanas uzdevumus.