Safetensors, CKPT, ONNX, GGUF i drugi ključni formati AI modela [2025]

Rast veštačke inteligencije i mašinskog učenja stvorio je kritičnu potrebu za metodama skladištenja i distribucije modela koji su efikasni, bezbedni i kompatibilni sa različitim sistemima. Kako modeli postaju složeniji i koriste se u raznovrsnijim okruženjima, izbor formata za serijalizaciju postaje ključna odluka. Ovaj izbor utiče na performanse, upotrebu resursa i bezbednost sistema veštačke inteligencije.

Ovaj izveštaj analizira vodeće formate za serijalizaciju modela, uključujući Safetensors, CKPT, ONNX i GGUF. Ističe njihove jedinstvene karakteristike, uobičajene primene i međusobna poređenja.

1. Uvod u serijalizaciju modela u veštačkoj inteligenciji i mašinskom učenju

Serijalizacija modela je proces čuvanja obučenog modela mašinskog učenja u datoteku. Ta datoteka se zatim može skladištiti, deliti ili ponovo učitati za kasniju upotrebu, kao što je davanje predikcija, nastavak obuke ili vršenje analiza. Ova sposobnost je od suštinskog značaja za ceo životni ciklus veštačke inteligencije i mašinskog učenja, od istraživanja i razvoja do primene u velikim razmerama.

Kritična uloga formata modela u životnom ciklusu veštačke inteligencije i mašinskog učenja

Čuvanje modela u standardnom formatu je ključno iz nekoliko razloga:

• Reproduktivnost: Omogućava da se istraživački eksperimenti precizno repliciraju i validiraju.
• Saradnja: Standardni formati olakšavaju timovima deljenje modela, omogućavajući im da rade zajedno i integrišu modele u veće sisteme.
• Primena: Serijalizacija pretvara obučeni model u prenosivu datoteku koja se može učitati i pokrenuti u različitim okruženjima, od klaud servera do rubnih uređaja.
• Transferno učenje: Omogućava korišćenje prethodno obučenih modela kao osnove za nove zadatke, što značajno štedi vreme obuke i podatke.

Pregled izazova koje rešavaju savremeni formati

Kako je mašinsko učenje napredovalo, savremeni formati za serijalizaciju su se razvili da reše nekoliko ključnih izazova:

• Bezbednost: Glavna briga je bezbednosni rizik u tradicionalnim metodama, posebno onima koje koriste Pythonov pickle modul. Ove metode mogu dozvoliti izvršavanje zlonamernog koda prilikom učitavanja modela, stvarajući ozbiljnu bezbednosnu pretnju ako model potiče iz nepouzdanog izvora.
• Performanse: Današnji veliki i složeni modeli zahtevaju veoma brzo učitavanje i efikasno upravljanje memorijom. Ovo je posebno važno za uređaje sa ograničenim resursima, kao što su mobilni telefoni, i za aplikacije koje zahtevaju trenutne odgovore.
• Prenosivost i interoperabilnost: U svetu mašinskog učenja koriste se mnogi različiti okviri (kao što su PyTorch, TensorFlow i JAX). Potrebni su formati koji omogućavaju lako premeštanje modela između ovih okvira i njihovo pokretanje na različitom hardveru (GPU, TPU) bez većih izmena.

Poslednjih godina, zajednica veštačke inteligencije se okrenula efikasnijim i bezbednijim formatima kao što su GGUF i Safetensors, što odražava zajednički napor da se reše ovi problemi.

Rane metode za čuvanje modela mašinskog učenja, kao što je PyTorch-ovo korišćenje Python pickle modula za svoje .pt i .pth datoteke, izabrane su zbog jednostavnosti upotrebe. Mogle su lako da sačuvaju složene Python objekte, uključujući i dizajn modela i njegovo stanje obuke (kao što je optimizator). Iako je ovo bilo pogodno za istraživanje u Python okruženju, stvorilo je veliku bezbednosnu manu. Pickle modul je dizajniran tako da omogućava izvršavanje bilo kog koda ugrađenog u datoteku tokom procesa učitavanja. To znači da učitavanje naizgled bezazlenog modela iz nepouzdanog izvora može ugroziti ceo sistem.

Stvaranje formata kao što je Safetensors, zajedno sa rastućom upotrebom ONNX-a i GGUF-a, direktan je odgovor na ovaj bezbednosni rizik, kao i na potrebu za boljim performansama i prenosivošću. Safetensors je, na primer, napravljen posebno da spreči izvršavanje zlonamernog koda. Ovo pokazuje da kako polje mašinskog učenja sazreva i veštačka inteligencija prelazi iz istraživanja u primenu u stvarnom svetu, bezbednost i efikasnost više nisu naknadne misli, već osnovni principi u dizajniranju novih formata. Ova promena predstavlja neophodan prelaz sa fleksibilnosti usmerene na istraživanje na bezbednost i robusnost na nivou produkcije, rešavajući „tehnički dug“ starijih, permisivnijih metoda.

Formati specifični za okvire, kao što su .pt/.pth za PyTorch i .ckpt/.h5 za TensorFlow/Keras, čvrsto su integrisani sa svojim specifičnim okvirima. Iako ih to čini efikasnim unutar jednog ekosistema, stvara značajne probleme sa interoperabilnošću. Model obučen u jednom okviru ne može se lako koristiti u drugom bez složenih konverzija ili održavanja odvojenih sistema za svaki okvir. To dovodi do nepovezanih tokova razvoja i primene.

Format Open Neural Network Exchange (ONNX) je stvoren da sruši ove barijere. On pruža „međuplatformski“ i „proizvođački neutralan“ standard za modele. To postiže definisanjem strukture modela (njegovog računskog grafa) na apstraktan način koji je nezavisan od bilo kog pojedinačnog okvira. Slično tome, GGUF, iako je prvobitno napravljen za projekat llama.cpp, takođe se fokusira na poboljšanje kompatibilnosti velikih jezičkih modela (LLM) na različitim platformama.

Raznolikost današnjih formata odražava suštinsku tenziju u industriji mašinskog učenja: želju za funkcijama specifičnim za okvire tokom razvoja (npr. dinamički graf PyTorch-a za istraživačku fleksibilnost) nasuprot potrebi za univerzalnom, efikasnom i bezbednom primenom. Ova tenzija znači da će više formata nastaviti da postoji, čineći alate za konverziju i napredne MLOps pajplajnove sve vitalnijim za povezivanje razvoja modela sa primenom. Različiti formati će se i dalje koristiti za specifične faze životnog ciklusa mašinskog učenja na osnovu njihovih jedinstvenih prednosti.

2. Razumevanje Safetensors formata

Safetensors predstavlja veliki korak napred u serijalizaciji modela, dizajniran posebno da reši probleme bezbednosti i efikasnosti tradicionalnih metoda skladištenja modela.

Definicija i osnovni principi dizajna

Safetensors je moderan, bezbedan i brz format za serijalizaciju modela dubokog učenja, koji je kreirao Hugging Face. Njegov glavni cilj je da obezbedi siguran način za skladištenje i deljenje tenzora — višedimenzionalnih nizova koji su osnovni gradivni blokovi podataka u mašinskom učenju. Format je dizajniran da bude bezbedniji i brži od starijih formata kao što je pickle.

Osnovni princip Safetensors-a je strogo odvajanje težina modela (tenzora) od bilo kakvog izvršnog koda. Ovaj dizajn direktno rešava bezbednosne propuste pronađene u starijim metodama serijalizacije.

Ključne karakteristike

• Direktno mapiranje i lenjo učitavanje: Ključ performansi Safetensors-a je njegova sposobnost „direktnog mapiranja“ (zero-copy). Ovo omogućava da se podaci modela mapiraju direktno sa diska u memoriju bez stvaranja dodatnih kopija, što štedi memoriju i ubrzava učitavanje. Takođe podržava „lenjo učitavanje“, što znači da se samo neophodni delovi velikog modela učitavaju u RAM kada su potrebni. Ovo je veoma korisno za izuzetno velike modele ili sisteme sa ograničenom memorijom.
• Strukturirano rukovanje metapodacima: Svaka Safetensors datoteka sadrži poseban odeljak sa metapodacima u JSON formatu. Ovaj odeljak navodi sve tenzore u modelu sa detaljima kao što su njihov oblik, tip podataka i naziv. Metapodaci ukazuju na to gde su stvarni podaci tenzora odvojeno sačuvani u datoteci, što poboljšava i čitljivost i bezbednost.
• Skladištenje isključivo tenzorskih podataka: Najvažnija bezbednosna karakteristika Safetensors-a je da je dizajniran da sadrži „samo sirove tenzorske podatke i povezane metapodatke“. Po svojoj arhitekturi, on „ne dozvoljava serijalizaciju proizvoljnog Python koda“. Ovaj fundamentalni izbor dizajna eliminiše rizik od izvršavanja zlonamernog koda prilikom učitavanja modela.
• Podrška za kvantizaciju: Safetensors može da rukuje kvantizovanim tenzorima, što pomaže da se modeli smanje i koriste manje memorije. Međutim, njegova podrška za kvantizaciju „nije toliko fleksibilna kao kod GGUF-a“ jer zavisi od funkcija koje pruža PyTorch okvir.

Glavne prednosti

• Poboljšana bezbednost (ublažavanje rizika od izvršavanja proizvoljnog koda): Ovo je najveća prednost Safetensors-a. Po dizajnu, on u potpunosti sprečava čuvanje Python koda u datoteci. Ovo eliminiše najozbiljniji bezbednosni rizik koji se nalazi u formatima zasnovanim na pickle-u: izvršavanje zlonamernog koda prilikom učitavanja modela. Ovo čini Safetensors najboljim izborom za deljenje i korišćenje modela iz javnih ili nepouzdanih izvora. Format takođe uključuje i druge bezbednosne funkcije kao što su „napredne tehnike enkripcije“ i kontrole pristupa kako bi se sprečilo neovlašćeno menjanje podataka.
• Optimizacija performansi: Korišćenje direktnog mapiranja i lenjog učitavanja rezultira „bržim vremenima učitavanja i manjom upotrebom memorije“. Merenja pokazuju da je mnogo „brži“ od pickle-a i može biti „76,6 puta brži na CPU i 2 puta brži na GPU u poređenju sa tradicionalnom metodom čuvanja u PyTorch-u“.
• Prenosivost: Format je dizajniran da bude prenosiv, što znači da radi na različitim programskim jezicima. To olakšava deljenje i korišćenje modela u različitim softverskim sistemima.
• Jednostavna integracija: Safetensors nudi „jednostavnu integraciju sa postojećim okvirima i bibliotekama za mašinsko učenje“. To omogućava programerima da lako usvoje ovaj bezbedniji format, bez velikih promena u svojim postojećim radnim tokovima.

Poređenje sa tradicionalnom serijalizacijom (npr. Pickle)

Pythonov pickle modul, koji se koristi za PyTorch-ove .pt i .pth datoteke, inherentno je nebezbedan. On dozvoljava da se bilo koji kod sakrije unutar serijalizovane datoteke i automatski izvrši kada se datoteka učita. Ovo je dobro poznata i ozbiljna ranjivost, posebno kada se koriste modeli preuzeti sa javnih veb-sajtova. Iako alati kao što je picklescan mogu otkriti neke zlonamerne obrasce, oni nisu nepogrešivi i ne mogu garantovati bezbednost.

Safetensors je stvoren posebno da reši ovaj bezbednosni problem. Dozvoljavajući samo sirove tenzorske podatke i strukturirane metapodatke u datoteci, on eliminiše mogućnost izvršavanja zlonamernog koda. Pored bezbednosti, Safetensors nudi i mnogo bolje performanse. Njegov dizajn za mapiranje memorije i lenjo učitavanje dovodi do značajno bržeg učitavanja i efikasnije upotrebe memorije u poređenju sa pickle-om, koji obično učitava ceo model u memoriju odjednom.

Bezbednosna mana u Pythonovom pickle-u znači da preuzimanje .pt ili .pth datoteke iz nepouzdanog izvora nije samo preuzimanje podataka; to je kao pokretanje potencijalno štetnog programa. Poznato je da „ne postoji 100% sigurno rešenje za proveru bezbednosti pickle datoteke bez njenog izvršavanja“. Ovo prebacuje teret provere bezbednosti datoteke na korisnika, što je teško i nepouzdano.

Safetensors menja ovu dinamiku redizajniranjem samog formata kako bi sprečio uključivanje štetnog koda. On prebacuje odgovornost za bezbednost sa teškog procesa verifikacije od strane korisnika na ugrađenu bezbednost formata. Ovo predstavlja veliki pomak u zajednici veštačke inteligencije otvorenog koda sa pristupa „proveri, pa veruj“ na model „poverenja po dizajnu“. Ova promena priznaje da je skoro nemoguće skenirati svaku moguću pretnju u složenim datotekama. Blokiranjem vektora napada (izvršavanje proizvoljnog koda), Safetensors čini bezbednijim široko deljenje modela, podstičući saradnju i olakšavajući većem broju ljudi korišćenje prethodno obučenih modela. Ovaj princip „poverenja po dizajnu“ je od suštinskog značaja za rast i bezbednost celokupnog ekosistema veštačke inteligencije.

Iako je Safetensors stvoren uglavnom iz bezbednosnih razloga (da popravi ranjivosti pickle-a), on takođe pruža značajna poboljšanja performansi, kao što su brže učitavanje, manja upotreba memorije i operacije bez kopiranja. Ovi dobici u performansama nisu samo sporedni efekat; oni su direktan rezultat optimizovanog dizajna Safetensors-a, koji koristi mapiranje memorije i lenjo učitavanje za efikasno rukovanje podacima. To ga čini prirodno efikasnijim za velike modele.

Ova kombinacija poboljšane bezbednosti i značajnih poboljšanja performansi bila je ključni pokretač njegovog širokog usvajanja. Da je Safetensors nudio samo bolju bezbednost, njegovo usvajanje bi možda bilo sporije, posebno među korisnicima koji nisu odmah fokusirani na bezbednost. Međutim, jasne i merljive prednosti u performansama pružaju snažan razlog svima da pređu na njega, ubrzavajući njegovu integraciju u velike platforme kao što je Hugging Face. Ovo pokazuje da u inženjeringu veštačke inteligencije, tehnologija često mora da ponudi i bezbednosne i performantne prednosti da bi je industrija brzo i široko prihvatila.

3. Pregled ključnih formata modela

Pored Safetensors-a, nekoliko drugih formata je važno u svetu mašinskog učenja, svaki sa svojim karakteristikama i primenama.

3.1. CKPT (kontrolne tačke)

Kontrolna tačka (checkpoint) u veštačkoj inteligenciji nije jedan tip datoteke, već snimak stanja modela sačuvan u određenom trenutku tokom obuke. Kontrolne tačke su od suštinskog značaja za čuvanje napretka tokom dugih procesa obuke.

Karakteristike i tipične primene

Kontrolna tačka obično sadrži naučene parametre modela, kao što su njegove težine i biasa. Takođe može da čuva druge važne informacije potrebne za nastavak obuke, kao što su stanje optimizatora, trenutni broj epohe i raspored stope učenja. Ekstenzije datoteka za kontrolne tačke variraju u zavisnosti od okvira. Za PyTorch, to su obično .pt ili .pth, dok su za TensorFlow/Keras to .ckpt ili .h5.

Ključne prednosti CKPT datoteka uključuju:

• Reproduktivnost: One osiguravaju da se model ponaša dosledno kada se ponovo učita, što je od vitalnog značaja za validaciju istraživanja i održavanje pouzdanih performansi.
• Saradnja: Lako se dele, omogućavajući programerima da repliciraju rezultate ili grade na postojećem radu.
• Fleksibilnost: PyTorch-ovi .pt/.pth formati su posebno fleksibilni, što olakšava čuvanje i učitavanje modela u istraživačke svrhe.

Uobičajene primene CKPT datoteka uključuju:

• Nastavak obuke: Nastavljanje sesije obuke koja je prekinuta, što štedi značajno vreme i računarske resurse.
• Fino podešavanje: Korišćenje prethodno obučenog modela kao polazne tačke za obuku na novom, specifičnijem skupu podataka.
• Evaluacija modela: Testiranje performansi modela u različitim fazama obuke bez potrebe za ponovnom obukom.
• Inferencija: Učitavanje potpuno obučenog modela u produkcioni sistem za davanje predikcija.
• Istraživanje i eksperimentisanje: Analiza kako se model razvija tokom vremena i sistematsko podešavanje njegovih parametara.
• Transferno učenje: Služe kao moćna polazna tačka za srodne zadatke, što smanjuje vreme obuke i potrebu za podacima.
• Oporavak od katastrofe: Služe kao rezervna kopija za nastavak rada nakon kvara tokom dugog procesa obuke.

Bezbednosna razmatranja

Najveći bezbednosni rizik kod CKPT datoteka, posebno PyTorch-ovih .pt i .pth formata, potiče od njihove zavisnosti od Pythonovog pickle modula. To znači da ove datoteke mogu biti dizajnirane da sadrže i izvršavaju zlonamerni Python kod kada se učitaju (ako se funkcija torch.load koristi bez podešavanja weights_only=True). Ova ranjivost (CWE-502: Deserijalizacija nepouzdanih podataka) može imati ozbiljne posledice, kao što su krađa podataka, izmenjeno ponašanje modela ili čak potpuno preuzimanje sistema.

Industrija je prepoznala ovaj rizik, a Safetensors se pojavio kao bezbednija opcija. Kao što je navedeno, „Većina kontrolnih tačaka Stable Diffusion AI se čuva u formatima kao što su .ckpt ili .safetensors... .safetensors je bezbednija alternativa, dizajnirana da spreči izvršavanje zlonamernog koda.“ Ovo pokazuje jasan trend ka bezbednijim formatima za deljenje modela.

CKPT, posebno u PyTorch-ovom .pt/.pth formatu, poznati su po tome što su „izuzetno fleksibilni“. Ova fleksibilnost im omogućava da čuvaju ne samo težine modela, već i stanje optimizatora, pa čak i prilagođene Python klase, što je veoma korisno za precizan nastavak obuke.

Međutim, upravo ta fleksibilnost stvara bezbednosnu ranjivost. Pošto format može da sačuva bilo koji Python objekat, napadač može da sakrije zlonamerni kod unutar datoteke modela. Kada se datoteka učita bez odgovarajućih mera predostrožnosti, taj kod se izvršava. Ovo ilustruje fundamentalni kompromis u dizajnu sistema: veća fleksibilnost često dovodi do veće površine napada i većih bezbednosnih rizika.

Rešenje industrije je usvajanje formata kao što je Safetensors za distribuciju modela, čak i ako se fleksibilniji .pt/.pth formati i dalje koriste za obuku u kontrolisanim okruženjima. Ovo pokazuje rastuće razumevanje da različite faze životnog ciklusa mašinskog učenja zahtevaju različite nivoe bezbednosti. Moć čuvanja kompletnog stanja obuke najbolje je zadržati unutar pouzdanog razvojnog okruženja, dok deljenje i primena zahtevaju formate sa ugrađenim bezbednosnim garancijama.

3.2. ONNX (Open Neural Network Exchange)

ONNX, što znači Open Neural Network Exchange, je format otvorenog standarda za modele mašinskog učenja. Dizajniran je da omogući modelima da rade na različitim okvirima dubokog učenja.

Karakteristike i primarne primene

ONNX datoteka sadrži kompletnu strukturu modela, uključujući njegovu sekvencu operacija (računski graf), njegove naučene težine i druge metapodatke. Glavna snaga ONNX-a je što deluje kao univerzalni prevodilac. Modeli obučeni u okvirima kao što su PyTorch, TensorFlow ili scikit-learn mogu se konvertovati u ONNX format, omogućavajući pristup „treniraj jednom, primeni svuda“.

Za razliku od formata koji čuvaju samo težine modela (kao što su Safetensors ili GGUF), ONNX uključuje i računski graf modela. Ova struktura zasnovana na grafu pruža „više fleksibilnosti prilikom konverzije modela između različitih okvira“. ONNX nudi odličnu prenosivost na mnogim platformama, uređajima i hardverskim akceleratorima (CPU, GPU, AI čipovi). Modeli se čuvaju u Protobuf formatu, što je efikasan, platformski neutralan način za čuvanje strukturiranih podataka.

Primarne primene ONNX-a uključuju:

• Primena na više okvira: Pokretanje modela u drugom okviru ili okruženju od onog u kojem je obučen.
• Inferencija visokih performansi: ONNX Runtime je inferencioni mehanizam koji automatski optimizuje modele za specifičan hardver, što često dovodi do boljih performansi.
• Primena na rubnim i mobilnim uređajima: Njegov mali otisak i optimizovano vreme izvršavanja čine ONNX dobrim izborom za pokretanje modela na uređajima sa ograničenim resursima.
• Produkcioni sistemi: Njegova robusnost i prenosivost čine ga popularnim za primenu modela u zahtevnim produkcionim okruženjima.

Bezbednosna razmatranja

Suzptilan ali ozbiljan bezbednosni rizik kod ONNX modela je potencijal za arhitektonska zadnja vrata. Napadač bi mogao da modifikuje računski graf modela tako da uključi skrivenu putanju koja se aktivira samo specifičnim unosima. Kada se aktiviraju, ova zadnja vrata bi mogla da prouzrokuju da model proizvodi zlonamerne ili neočekivane izlaze, dok se na standardnim unosima ponaša normalno, što otežava detekciju. Drugi rizici uključuju napade inverzije modela (izvlačenje osetljivih podataka o obuci) i protivničke napade (korišćenje zlonamernih unosa da bi se prevario model).

Da bi se smanjile ove pretnje, preporučuje se nekoliko praksi:

• Digitalno potpisivanje ONNX modela kako bi se osiguralo da nisu neovlašćeno menjani.
• Primena modela u izolovanim okruženjima, kao što su Docker kontejneri, sa jakom mrežnom bezbednošću.
• Korišćenje alata za nadzor za praćenje ponašanja modela i otkrivanje anomalija.
• Pridržavanje opštih najboljih praksi bezbednosti, kao što je sanitizacija unosa i redovno ažuriranje softvera.

ONNX je generalno bezbedniji od formata zasnovanih na pickle-u jer ne izvršava proizvoljni kod prilikom učitavanja. Međutim, ako ONNX model koristi prilagođene slojeve implementirane eksterno, ti slojevi bi mogli potencijalno da sadrže zlonamerni Python kod ako se njima ne upravlja pažljivo.

Nedostaci

Iako ONNX podržava kvantizovane modele, on „ne podržava izvorno kvantizovane tenzore“ tako glatko kao GGUF. On ih razlaže na odvojene tenzore celih brojeva i faktora skaliranja, što „može dovesti do smanjenog kvaliteta“. Konverzija modela sa složenim ili prilagođenim slojevima koji nisu standardni u ONNX-u takođe može biti teška i može zahtevati prilagođen rad koji bi mogao usporiti performanse.

Tradicionalni formati zasnovani na Pythonovom pickle-u (kao što su .pt datoteke) čuvaju Python objekte, koji mogu uključivati izvršni kod. Ovo tretira model kao program. Nasuprot tome, ONNX se fokusira na čuvanje „računskog grafa“ modela — apstraktnije reprezentacije njegovih operacija i toka podataka, a ne specifične implementacije koda.

Ovaj pristup usmeren na graf je ono što ONNX-u daje odličnu prenosivost između okvira i omogućava mu da bude optimizovan za različit hardver. Definisanjem logike modela na višem nivou, on postaje nezavisan od okvira u kojem je obučen. Ovo je značajan konceptualni pomak, prelazak sa implementacije specifične za okvir na prenosivu računsku reprezentaciju. Iako ovo uveliko poboljšava fleksibilnost primene, stvara i nove bezbednosne probleme, kao što su arhitektonska zadnja vrata, koja zahtevaju drugačije bezbednosne strategije od onih koje se koriste za formate zasnovane na pickle-u.

3.3. GGUF (GPT-Generated Unified Format)

GGUF (GPT-Generated Unified Format) je format datoteke dizajniran posebno za efikasno skladištenje i pokretanje velikih jezičkih modela (LLM). To je poboljšana verzija svog prethodnika, GGML, i ima za cilj da olakša korišćenje LLM-ova, posebno na ličnim računarima.

Karakteristike i primarne primene

GGUF je dizajniran da učini LLM-ove manjim i mnogo bržim za učitavanje. Ovo je ključno za pokretanje modela lokalno, gde su prostor za skladištenje i RAM često ograničeni. Format koristi „napredne tehnike kompresije“ da bi to postigao. Takođe pruža standardni način za pakovanje težina, arhitekture i metapodataka modela, osiguravajući da radi dosledno na različitim softverima, posebno sa inferencionim mehanizmima zasnovanim na llama.cpp.

Ključna karakteristika GGUF-a je njegova odlična podrška za kvantizaciju. Kvantizacija smanjuje numeričku preciznost težina modela (npr. sa 16-bitnih na 4-bitne brojeve), što drastično smanjuje veličinu datoteke i računanje potrebno za njeno pokretanje. GGUF modeli su dostupni u različitim nivoima kvantizacije (od Q2 do Q8), nudeći niz kompromisa između veličine i kvaliteta.

• Niži nivoi kvantizacije (kao što su Q2 ili Q3) rezultiraju veoma malim datotekama koje se mogu pokretati na hardveru sa manje RAM-a, ali mogu imati blagi pad u kvalitetu modela.
• Viši nivoi kvantizacije (kao što su Q6 ili Q8) održavaju bolji kvalitet, ali zahtevaju više prostora za skladištenje i RAM-a.

Primarne primene GGUF-a uključuju:

• Lokalna primena LLM-ova: Alati kao što je Ollama koriste GGUF kako bi korisnicima olakšali pokretanje moćnih LLM-ova na sopstvenim računarima.
• Offline AI asistenti: Mnoge aplikacije koriste GGUF modele da pruže lokalne, privatne alternative klaud AI alatima.
• Pomoć pri kodiranju: IDE-ovi i editori koda počinju da koriste GGUF modele za inteligentno dovršavanje koda.
• Lokalni čet-botovi: GGUF modeli se često koriste za privatne i responzivne konverzacijske AI sisteme.
• Istraživanje veštačke inteligencije: Njegova fleksibilnost i podrška za kvantizaciju čine ga popularnim među istraživačima za eksperimentisanje sa LLM-ovima na dostupnom hardveru.

Bezbednosna razmatranja

Suprotno uvreženom mišljenju, osnovna GGML biblioteka (na kojoj se GGUF zasniva) imala je dokumentovane ranjivosti povezane sa „nedovoljnom validacijom ulazne datoteke“. Ovi nedostaci mogu dovesti do „potencijalno iskoristivih ranjivosti oštećenja memorije tokom parsiranja“. Identifikovani su specifični bezbednosni problemi gde bi neprovereni korisnički unos mogao da izazove prekoračenje hipa, potencijalno omogućavajući napadaču da izvrši zlonamerni kod.

Postoji uobičajena zabluda da GGUF datoteka „ne može da sadrži kod“ i da je „isključivo datoteka modela“. Međutim, bezbednosni izveštaj iz Databricks-a pokazao je da, iako sama GGUF datoteka ne sadrži izvršni Python kod, posebno napravljena datoteka može da iskoristi nedostatke u parseru (softveru koji čita datoteku) da izazove oštećenje memorije i postigne izvršavanje koda.

Da bi se smanjili ovi rizici, najbolje je:

• Koristiti modele i alate iz poznatih, uglednih izvora (kao što je Koboldcpp).
• Pokretati LLM-ove u izolovanim okruženjima (kao što su Docker kontejneri).
• Za veoma osetljive zadatke, razmotriti korišćenje namenske mašine bez pristupa internetu.

Nedostaci

Glavni nedostatak GGUF-a je što se većina modela prvo razvija u drugim okvirima (kao što je PyTorch) i mora se konvertovati u GGUF format. Ovaj proces konverzije nije uvek lak, a neki modeli možda neće biti u potpunosti podržani od strane alata kompatibilnih sa GGUF-om. Pored toga, modifikovanje ili fino podešavanje modela nakon što je u GGUF formatu generalno „nije jednostavno“.

Iako je GGUF dizajniran za brzo učitavanje i efikasno korišćenje VRAM-a, stvarna brzina inferencije (koliko brzo model generiše odgovore) ponekad može biti sporija od nekvantizovanih modela. To se može desiti sa nižim nivoima kvantizacije zbog dodatnog posla potrebnog za dekvantizaciju težina tokom inferencije. Glavna prednost GGUF-a u performansama je što omogućava pokretanje velikih modela na potrošačkom hardveru čuvanjem VRAM-a, a ne nužno što ih čini bržim.

Definišuća karakteristika GGUF-a je njegova duboka integracija sa kvantizacijom, koja omogućava pokretanje moćnih LLM-ova na „potrošačkom hardveru“ sa ograničenim VRAM-om. Ovo pomaže u demokratizaciji pristupa veštačkoj inteligenciji. Međutim, ova efikasnost uključuje kompromise. Dok kvantizacija čini modele manjim, niži nivoi mogu blago smanjiti kvalitet modela. Takođe, brzina inferencije ponekad može biti sporija nego kod nekvantizovanih modela, posebno ako nekvantizovana verzija u potpunosti staje u VRAM.

Prednost GGUF-a u „brzini“ se obično odnosi na brže učitavanje i mogućnost pokretanja većeg modela na ograničenom hardveru, a ne na sirove performanse. GGUF savršeno oslikava trend „demokratizacije veštačke inteligencije“ čineći napredne modele dostupnim većem broju ljudi. Ovo zahteva od korisnika da balansiraju kvalitet modela sa ograničenjima svog hardvera. Dostupnost više nivoa kvantizacije omogućava korisnicima da prilagode modele svojim specifičnim potrebama, što je ključ popularnosti formata u lokalnoj AI zajednici.

4. Uporedna analiza formata

Izbor odgovarajućeg formata za serijalizaciju modela je strateška odluka koja zavisi od balansiranja različitih faktora, uključujući bezbednost, performanse, efikasnost resursa, interoperabilnost i specifičan kontekst primene. Tabela ispod pruža uporedni pregled Safetensors, CKPT, ONNX i GGUF formata prema ovim kritičnim dimenzijama.

Karakteristika / Format	Safetensors	CKPT (.pt/.pth)	ONNX	GGUF
Glavna svrha	Bezbedno, brzo skladištenje tenzora za modele dubokog učenja	Kontrolne tačke za obuku, parametri modela, očuvanje stanja	Interoperabilnost između okvira, primena na različitom hardveru	Efikasno skladištenje LLM-ova, optimizovana lokalna inferencija na potrošačkom hardveru
Bezbednosni profil	Visok (nema izvršavanja proizvoljnog koda po dizajnu)	Nizak (izvršavanje proizvoljnog koda putem Pickle deserijalizacije)	Umeren (nema izvršavanja proizvoljnog koda, ali su moguća arhitektonska zadnja vrata)	Umeren (ranjivosti osnovne biblioteke, ali sama datoteka nije izvršni Python kod)
Brzina učitavanja	Veoma brza (direktno mapiranje, lenjo učitavanje)	Varira (može biti sporije od Safetensors-a zbog potpunog učitavanja)	Brza (optimizovano vreme izvršavanja, optimizacije grafa)	Brza (mmap, efikasno za LLM-ove)
Upotreba memorije	Efikasna (lenjo učitavanje, delimično učitavanje)	Može biti visoka (učitava ceo graf objekata)	Efikasna (optimizacije vremena izvršavanja)	Veoma efikasna (kvantizacija, ušteda VRAM-a)
Prostor na disku	Efikasan (kompresija, samo tenzori)	Varira (može biti velik, uključuje kompletno stanje)	Efikasan (Protobuf format)	Veoma efikasan (kvantizacija, napredna kompresija)
Podrška za kvantizaciju	Da, ali manje fleksibilna od GGUF-a (zavisi od PyTorch-a)	Da (zavisi od okvira)	Ograničena izvorna podrška (razlaže tenzore)	Robusna (više nivoa, Q2-Q8, specijalizovane varijante)
Prenosivost	Visoka (na različitim programskim jezicima)	Niska (čvrsto vezan za specifične okvire)	Veoma visoka (među okvirima, među platformama, različit hardver)	Visoka (posebno za llama.cpp ekosistem)
Glavne primene	Bezbedno deljenje modela, podrazumevani format na Hugging Face-u	Obuka, fino podešavanje, istraživanje, čuvanje modela	Primena u produkciji, mobilni/rubni uređaji, interoperabilnost	Lokalna inferencija LLM-ova, potrošački hardver, čet aplikacije
Ključna prednost	Bezbednost po dizajnu, brzo učitavanje, mali memorijski otisak	Očuvanje stanja obuke, detaljna reproduktivnost	Univerzalna primena, optimizacija vremena izvršavanja, nezavisnost od okvira	Efikasnost LLM-ova na potrošačkom hardveru, fleksibilna kvantizacija
Ključni nedostatak	Potreban JSON parser za metapodatke u C++	Rizik od izvršavanja proizvoljnog koda, velike veličine datoteka	Složenost za prilagođene slojeve, ograničena izvorna kvantizacija	Često potrebna konverzija, potencijalno usporavanje inferencije sa nižim kvantizacijama

5. Zaključak

Svet formata modela mašinskog učenja se neprestano razvija, vođen potrebom za boljom bezbednošću, performansama i interoperabilnošću. Tradicionalni formati, kao što su CKPT datoteke zasnovane na pickle-u, bili su fleksibilni za istraživanje, ali su uveli ozbiljne bezbednosne rizike dozvoljavajući izvršavanje proizvoljnog koda. To je dovelo do razvoja i usvajanja novijih, bezbednijih formata.

Safetensors je vodeći primer ove promene. Odvajanjem podataka od koda i korišćenjem efikasnih tehnika učitavanja, on nudi bezbednu i visoko-performantnu alternativu za deljenje modela dubokog učenja, posebno u Hugging Face ekosistemu. Njegove dvostruke prednosti bezbednosti i brzine učinile su ga popularnim izborom u savremenim tokovima rada veštačke inteligencije.

ONNX rešava glavni problem nekompatibilnosti okvira. Predstavljanjem modela kao apstraktnih računskih grafova, on omogućava njihovu primenu na različitom hardveru i softveru. Iako ONNX sprečava izvršavanje proizvoljnog koda koje se vidi u pickle-u, on ima sopstvene bezbednosne probleme, kao što su arhitektonska zadnja vrata, koja zahtevaju drugačije mere zaštite.

GGUF je specijalizovano rešenje za pokretanje velikih jezičkih modela na potrošačkom hardveru. Njegove moćne karakteristike kvantizacije dramatično smanjuju veličinu modela i upotrebu memorije, čineći moćne LLM-ove dostupnim većem broju ljudi. Međutim, ova efikasnost ponekad može rezultirati sporijim brzinama inferencije, a njegove osnovne biblioteke su pokazale ranjivosti koje zahtevaju oprez korisnika.

Na kraju, najbolji format zavisi od specifičnog konteksta.

• Safetensors je najbolji izbor za bezbedno i efikasno deljenje modela dubokog učenja.
• ONNX je idealan za primenu modela na različitim okvirima i hardveru.
• GGUF nudi neprevaziđenu efikasnost za pokretanje velikih jezičkih modela na lokalnim uređajima sa ograničenim resursima.

Dok su tradicionalni CKPT formati i dalje korisni za čuvanje napretka obuke u kontrolisanim okruženjima, oni se zamenjuju bezbednijim alternativama za javnu distribuciju. Kako polje veštačke inteligencije sazreva, kontinuirani razvoj ovih specijalizovanih formata biće od suštinskog značaja za unapređenje moći i dometa mašinskog učenja.