LLM/AI 모델을 위한 맘바 아키텍처

맘바란 무엇인가?

맘바는 트랜스포머 아키텍처의 대안으로 떠오르고 있는 유망한 LLM 아키텍처입니다. 맘바는 메모리 효율성, 확장성, 매우 긴 시퀀스 처리 능력에서 강점을 보입니다.

맘바는 상태 공간 모델(SSM)과 게이트형 다층 퍼셉트론(MLP) 메커니즘에 기반합니다.

작동 방식

1. 입력 프로젝션: 입력 시퀀스의 차원을 증가시킵니다.
2. 컨볼루션 처리: 1차원 컨볼루션과 활성화 함수를 적용합니다.
3. 게이팅: 입력 데이터와 프로젝션 결과를 요소별로 곱합니다.
4. 반복: 2-3단계를 여러 번 반복할 수 있습니다.

맘바 아키텍처의 장점:

• 높은 성능: LAMBADA 및 PIQA 테스트에서 뛰어난 결과를 보여주며, 크기가 두 배인 모델보다도 뛰어납니다.
• 메모리 효율성: 역전파 중에 재연산을 활용하여 Flash Attention과 유사하게 메모리를 절약합니다.
• 확장성: 특히 컴퓨팅 파워와 모델 크기를 늘릴 때 긴 시퀀스에서 Transformer++보다 뛰어난 성능을 보입니다.
• 긴 컨텍스트: 최대 100만 토큰의 컨텍스트를 처리할 수 있습니다.
• 효율적인 텍스트 복사: 텍스트 복사 작업에 탁월합니다.