맘바란 무엇인가? 맘바는 트랜스포머 아키텍처의 대안으로 떠오르고 있는 유망한 LLM 아키텍처입니다. 맘바는 메모리 효율성, 확장성, 매우 긴 시퀀스 처리 능력에서 강점을 보입니다. 맘바는 상태 공간 모델(SSM)과 게이트형 다층 퍼셉트론(MLP) 메커니즘에 기반합니다. 작동 방식 맘바 아키텍처의…
[태그:] AI
최신 AI 아키텍처 동향: 트랜스포머, 맘바, I-JEPA
인공지능 분야가 빠르게 발전하면서 더욱 강력하고 다재다능한 아키텍처를 찾는 노력이 최근 몇 년간 괄목할 만한 혁신의 원동력이 되었습니다. 자연어 처리 분야에 혁명을 일으킨 트랜스포머 모델부터 자기 지도 학습의 경계를 넓히고 있는 혁신적인 조인트 임베딩 예측…
Stable Diffusion 3: AI 이미지 생성의 도약
Stability AI가 최신 텍스트-이미지 AI 모델인 Stable Diffusion 3를 출시하면서 빠르게 진화하는 생성형 AI 분야에서 괄목할 만한 발전을 이루었습니다. 이 새로운 모델은 이미지 품질, 텍스트 렌더링 및 복잡한 프롬프트 이해 능력이 인상적으로 향상되었으며, 동시에 리소스…
3D 장면 렌더링의 진화: NeRF, ADOP, Gaussian Splatting부터 TRIPS까지
3D 그래픽 분야는 특히 복잡한 장면을 렌더링하는 데 사용되는 기술에서 놀라운 발전을 이루어 왔습니다. 본 글에서는 이 분야의 지형도를 형성해 온 세 가지 핵심 기술, 즉 NeRF (Neural Radiance Fields, 신경 방사 필드), ADOP (Approximate…
Cerebras Systems, 매머드급 AI 슈퍼컴퓨터 구축 주요 거래 체결
샌타클라라, CA – 2023년 7월 20일 – 웨이퍼 스케일 AI 솔루션의 선도적 공급업체인 Cerebras Systems는 아부다비 기반 기술 합작 회사 g42와 매머드급 거래를 체결했습니다. Cerebras는 앞으로 18개월 동안 세계 최대 규모의 AI 슈퍼컴퓨터를 g42를 위해…
Orca LLM: 오픈 소스 LLM계의 새로운 강자
Microsoft Research에서 GPT-4의 복잡한 설명 추적을 통해 점진적으로 학습하는 노력과 그 성공에 대한 매우 유망한 논문을 발표했습니다. 가장 흥미로운 점은 곧 이를 공개할 예정이며, 현재 법무팀과 협력하여 LLaMA의 공개 정책에 따라 모델 가중치의 diff를 공개할…
Safetensors란 무엇이며, 왜 .ckpt (pickletensor)보다 더 나은가
Safetensors는 텐서를 안전하게 저장하기 위해 설계된 뛰어난 모델 형식으로, 이 분야의 다른 대안들에 비해 인상적인 속도와 성능을 자랑합니다. Safetensors는 매우 빠를 뿐만 아니라 단순성과 안전성을 핵심으로 설계되어 머신러닝에서 사용되는 많은 기존 형식과 차별화됩니다. Safetensors를 선택해야…
이미지-텍스트 AI 모델: CLIP, BLIP, WD 1.4 (WD14라고도 함), SigLIP 2, Vision을 탑재한 ChatGPT
이미지의 자동 태깅, 라벨링 또는 설명은 특히 머신러닝 데이터 세트 준비에 있어 많은 애플리케이션에서 중요한 작업입니다. 바로 이럴 때 이미지-텍스트 모델이 구원투수로 등장합니다. 주요 이미지-텍스트 모델로는 CLIP, BLIP, WD 1.4 (WD14 또는 Waifu Diffusion 1.4…
AI, 당신의 생각을 읽다: 스테이블 디퓨전과 뇌-컴퓨터 인터페이스의 미래
오늘은 생성형 AI의 일종인 스테이블 디퓨전을 활용하여 인간의 뇌 활동을 기반으로 이미지를 재구성하는 연구 논문에 대해 이야기해 보겠습니다. 이 연구는 신경 과학에 중요한 의미를 가질 뿐만 아니라 꿈을 읽는 것부터 동물의 인식을 이해하는 것까지 광범위한…
NPC를 위한 진짜 AI: 게임과 인간과 유사한 AI 사회의 미래, 생성적 에이전트
컴퓨터 소프트웨어 에이전트가 믿을 만한 인간 행동을 시뮬레이션하고, AI 아티스트가 그림을 그리고 작가가 글을 쓰는 세상, 이러한 AI 에이전트가 의견을 형성하고 대화를 시작하며, 기억이 고차원적 성찰로 합성되어 행동을 계획하는 세상을 상상해 보세요. 이것이 바로 생성적…