Mamba Arkitektur for LLM/AI Modeller

Hvad er Mamba?

Mamba er en lovende LLM-arkitektur, der tilbyder et alternativ til Transformer-arkitekturen. Dens styrker ligger i hukommelseseffektivitet, skalerbarhed og evnen til at håndtere meget lange sekvenser.

Mamba er baseret på State Space Models (SSM) og Gated Multilayer Perceptron (MLP) mekanismer.

Hvordan virker det?

1. Inputprojektion: Inputsekvensens dimensionalitet øges.
2. Convolutionel behandling: En-dimensionel convolution og en aktiveringsfunktion anvendes.
3. Gating: Inputdataene og projektionsresultaterne multipliceres elementvis.
4. Gentagelse: Trin 2-3 kan gentages flere gange.

Fordele ved Mamba-arkitekturen:

• Høj ydeevne: Demonstrerer fremragende resultater på LAMBADA- og PIQA-tests, og overgår endda modeller, der er dobbelt så store.
• Hukommelseseffektivitet: Udnytter genberegning under backpropagation, hvilket sparer hukommelse på samme måde som Flash Attention.
• Skalerbarhed: Overgår Transformer++ på lange sekvenser, især når der øges computerkraft og modelstørrelse.
• Lang kontekst: Kan behandle kontekst på op til en million tokens.
• Effektiv tekstkopiering: Er fremragende til tekstkopieringsopgaver.