Safetensors, CKPT, ONNX, GGUF i drugi ključni formati AI modela [2025.]

Rast umjetne inteligencije i strojnog učenja stvorio je kritičnu potrebu za metodama pohrane i distribucije modela koje su učinkovite, sigurne i kompatibilne s različitim sustavima. Kako modeli postaju sve složeniji i koriste se u raznovrsnijim okruženjima, odabir formata za serijalizaciju ključna je odluka. Taj odabir utječe na performanse, korištenje resursa i sigurnost AI sustava.

Ovo izvješće analizira vodeće formate za serijalizaciju modela, uključujući Safetensors, CKPT, ONNX i GGUF. Ističe njihove jedinstvene značajke, uobičajene primjene i međusobne usporedbe.

1. Uvod u serijalizaciju modela u AI/ML-u

Serijalizacija modela je proces spremanja istreniranog modela strojnog učenja u datoteku. Ta se datoteka zatim može pohraniti, dijeliti ili ponovno učitati za kasniju upotrebu, kao što je izrada predviđanja, nastavak treniranja ili provođenje analiza. Ova je mogućnost ključna za cjelokupni životni ciklus AI/ML-a, od istraživanja i razvoja do implementacije velikih razmjera.

Presudna uloga formata modela u životnom ciklusu AI/ML-a

Spremanje modela u standardni format ključno je iz nekoliko razloga:

• Ponovljivost: Omogućuje preciznu replikaciju i validaciju istraživačkih eksperimenata.
• Suradnja: Standardni formati olakšavaju timovima dijeljenje modela, omogućujući im zajednički rad i integraciju modela u veće sustave.
• Implementacija: Serijalizacija pretvara istrenirani model u prenosivu datoteku koja se može učitati i pokrenuti u različitim okruženjima, od poslužitelja u oblaku do rubnih uređaja.
• Prijenosno učenje (Transfer Learning): Omogućuje korištenje unaprijed istreniranih modela kao temelja za nove zadatke, što značajno štedi vrijeme treniranja i podatke.

Pregled izazova koje rješavaju moderni formati

Kako je strojno učenje napredovalo, moderni formati za serijalizaciju evoluirali su kako bi riješili nekoliko ključnih izazova:

• Sigurnost: Glavna briga je sigurnosni rizik u tradicionalnim metodama, posebno onima koje koriste Pythonov modul pickle. Te metode mogu dopustiti izvršavanje zlonamjernog koda prilikom učitavanja modela, stvarajući ozbiljnu sigurnosnu prijetnju ako model dolazi iz nepouzdanog izvora.
• Performanse: Današnji veliki i složeni modeli zahtijevaju vrlo brzo učitavanje i učinkovito upravljanje memorijom. To je posebno važno za uređaje s ograničenim resursima, poput mobilnih telefona, i za aplikacije koje trebaju trenutne odgovore.
• Prenosivost i interoperabilnost: U svijetu strojnog učenja koristi se mnogo različitih okvira (poput PyTorcha, TensorFlowa i JAX-a). Potrebni su formati koji omogućuju jednostavno prenošenje modela između tih okvira i pokretanje na različitom hardveru (GPU, TPU) bez većih prilagodbi.

Posljednjih godina AI zajednica prebacila se na učinkovitije i sigurnije formate poput GGUF-a i Safetensorsa, što odražava zajednički napor da se riješe ovi problemi.

Rane metode za spremanje ML modela, poput PyTorcheve upotrebe Pythonovog modula pickle za svoje .pt i .pth datoteke, odabrane su zbog jednostavnosti korištenja. Mogle su lako spremiti složene Python objekte, uključujući i dizajn modela i njegovo stanje treniranja (poput optimizatora). Iako je to bilo praktično za istraživanje u Python okruženju, stvorilo je veliku sigurnosnu manu. Modul pickle dizajniran je na način da mu omogućuje izvršavanje bilo kojeg koda ugrađenog unutar datoteke tijekom procesa učitavanja. To znači da učitavanje naizgled bezopasnog modela iz nepouzdanog izvora može kompromitirati cijeli sustav.

Stvaranje formata poput Safetensorsa, uz rastuću upotrebu ONNX-a i GGUF-a, izravan je odgovor na ovaj sigurnosni rizik, kao i na potrebu za boljim performansama i prenosivošću. Safetensors je, na primjer, stvoren specifično kako bi spriječio izvršavanje zlonamjernog koda. To pokazuje da kako područje strojnog učenja sazrijeva i AI prelazi iz istraživanja u stvarne primjene, sigurnost i učinkovitost više nisu naknadne misli, već temeljna načela u dizajniranju novih formata. Ova promjena predstavlja nužan pomak od fleksibilnosti usmjerene na istraživanje prema sigurnosti i robusnosti na produkcijskoj razini, ispravljajući "tehnički dug" starijih, permisivnijih metoda.

Formati specifični za okvire, kao što su .pt/.pth za PyTorch i .ckpt/.h5 za TensorFlow/Keras, usko su integrirani sa svojim specifičnim okvirima. Iako ih to čini učinkovitima unutar jednog ekosustava, uzrokuje značajne probleme s interoperabilnošću. Model istreniran u jednom okviru ne može se lako koristiti u drugom bez složenih konverzija ili održavanja odvojenih sustava za svaki okvir. To dovodi do nepovezanih razvojnih i implementacijskih procesa.

Format Open Neural Network Exchange (ONNX) stvoren je kako bi srušio te barijere. Pruža "međuplatformski" i "proizvođački neutralan" standard za modele. To postiže definiranjem strukture modela (njegovog računskog grafa) na apstraktan način koji je neovisan o bilo kojem pojedinačnom okviru. Slično tome, GGUF, iako izvorno napravljen za projekt llama.cpp, također se usredotočuje na poboljšanje kompatibilnosti velikih jezičnih modela (LLM) na različitim platformama.

Raznolikost današnjih formata odražava temeljnu napetost u ML industriji: želju za značajkama specifičnim za okvire tijekom razvoja (npr. PyTorchev dinamički graf za istraživačku fleksibilnost) nasuprot potrebi za univerzalnom, učinkovitom i sigurnom implementacijom. Ova napetost znači da će više formata i dalje postojati, čineći alate za konverziju i napredne MLOps cjevovode sve vitalnijima za povezivanje razvoja modela s implementacijom. Različiti formati i dalje će se koristiti za specifične faze ML životnog ciklusa na temelju njihovih jedinstvenih snaga.

2. Razumijevanje formata Safetensors

Safetensors predstavlja veliki korak naprijed u serijalizaciji modela, dizajniran specifično za rješavanje problema sigurnosti i učinkovitosti tradicionalnih metoda pohrane modela.

Definicija i osnovna načela dizajna

Safetensors je moderan, siguran i brz format za serijalizaciju modela dubokog učenja, koji je stvorio Hugging Face. Njegov glavni cilj je pružiti siguran način za pohranu i dijeljenje tenzora – višedimenzionalnih polja koja su osnovni gradivni blokovi podataka strojnog učenja. Format je dizajniran da bude sigurniji i brži od starijih formata poput pickle.

Osnovno načelo Safetensorsa je strogo odvajanje težina modela (tenzora) od bilo kakvog izvršnog koda. Ovaj dizajn izravno rješava sigurnosne propuste pronađene u starijim metodama serijalizacije.

Ključne značajke

• "Zero-copy" i lijeno učitavanje (Lazy Loading): Ključ performansi Safetensorsa je njegova sposobnost "zero-copy". To omogućuje da se podaci modela mapiraju izravno s diska u memoriju bez stvaranja dodatnih kopija, što štedi memoriju i ubrzava učitavanje. Također podržava "lijeno učitavanje", što znači da se samo potrebni dijelovi velikog modela učitavaju u RAM kada su potrebni. To je vrlo korisno za iznimno velike modele ili sustave s ograničenom memorijom.
• Strukturirano rukovanje metapodacima: Svaka Safetensors datoteka uključuje zaseban odjeljak s metapodacima u JSON formatu. Ovaj odjeljak navodi sve tenzore u modelu s detaljima poput njihovog oblika, tipa podataka i naziva. Metapodaci upućuju na mjesto gdje su stvarni podaci tenzora pohranjeni odvojeno u datoteci, što poboljšava i čitljivost i sigurnost.
• Pohrana samo podataka tenzora: Najvažnija sigurnosna značajka Safetensorsa je da je dizajniran da sadrži "samo sirove podatke tenzora i povezane metapodatke". Po svojoj arhitekturi, "ne dopušta serijalizaciju proizvoljnog Python koda". Ovaj temeljni izbor dizajna eliminira rizik od izvršavanja zlonamjernog koda prilikom učitavanja modela.
• Podrška za kvantizaciju: Safetensors može rukovati kvantiziranim tenzorima, što pomaže smanjiti veličinu modela i potrošnju memorije. Međutim, njegova podrška za kvantizaciju "nije tako fleksibilna kao kod GGUF-a" jer ovisi o značajkama koje pruža PyTorch okvir.

Glavne prednosti

• Poboljšana sigurnost (ublažavanje izvršavanja proizvoljnog koda): Ovo je najveća prednost Safetensorsa. Po dizajnu, u potpunosti sprječava spremanje Python koda u datoteku. To eliminira najozbiljniji sigurnosni rizik koji se nalazi u formatima temeljenim na pickle: izvršavanje zlonamjernog koda prilikom učitavanja modela. To čini Safetensors najboljim izborom za dijeljenje i korištenje modela iz javnih ili nepouzdanih izvora. Format također uključuje i druge sigurnosne značajke poput "naprednih tehnika enkripcije" i kontrole pristupa kako bi se spriječilo neovlašteno mijenjanje podataka.
• Optimizacija performansi: Korištenje "zero-copy" i lijenog učitavanja rezultira "bržim vremenima učitavanja i manjom potrošnjom memorije". Benchmark testovi pokazuju da je znatno "brži" od pickle i može biti "76.6 puta brži na CPU-u i 2 puta brži na GPU-u u usporedbi s tradicionalnom metodom spremanja u PyTorchu".
• Prenosivost: Format je dizajniran da bude prenosiv, što znači da radi na različitim programskim jezicima. To olakšava dijeljenje i korištenje modela u različitim softverskim sustavima.
• Besprijekorna integracija: Safetensors nudi "besprijekornu integraciju s postojećim okvirima i bibliotekama za strojno učenje". To programerima omogućuje jednostavno usvajanje ovog sigurnijeg formata, bez velikih promjena u njihovim postojećim radnim procesima.

Usporedba s tradicionalnom serijalizacijom (npr. Pickle)

Pythonov modul pickle, koji se koristi za PyTorcheve .pt i .pth datoteke, inherentno je nesiguran. Omogućuje da se bilo koji kod sakrije unutar serijalizirane datoteke i automatski pokrene prilikom učitavanja. Ovo je dobro poznata i ozbiljna ranjivost, posebno pri korištenju modela preuzetih s javnih web stranica. Iako alati poput picklescan mogu otkriti neke zlonamjerne obrasce, nisu nepogrešivi i ne mogu jamčiti sigurnost.

Safetensors je stvoren specifično za rješavanje ovog sigurnosnog problema. Dopustivši samo sirove podatke tenzora i strukturirane metapodatke u datoteci, uklanja mogućnost izvršavanja zlonamjernog koda. Osim sigurnosti, Safetensors nudi i znatno bolje performanse. Njegov dizajn za mapiranje memorije i lijeno učitavanje dovodi do značajno bržeg učitavanja i učinkovitije upotrebe memorije u usporedbi s pickle, koji obično učitava cijeli model u memoriju odjednom.

Sigurnosni propust u Pythonovom pickle znači da preuzimanje .pt ili .pth datoteke iz nepouzdanog izvora nije samo preuzimanje podataka; to je kao pokretanje potencijalno štetnog programa. Poznato je da "ne postoji 100% sigurno rješenje za provjeru sigurnosti pickle datoteke bez njenog izvršavanja". To stavlja teret provjere sigurnosti datoteke na korisnika, što je teško i nepouzdano.

Safetensors mijenja ovu dinamiku redizajniranjem samog formata kako bi se spriječilo uključivanje štetnog koda. Prebacuje odgovornost za sigurnost s teškog procesa provjere od strane korisnika na ugrađenu sigurnost formata. To označava veliki pomak u open-source AI zajednici s pristupa "provjeri, pa vjeruj" na model "vjeruj po dizajnu". Ova promjena priznaje da je gotovo nemoguće skenirati svaku moguću prijetnju u složenim datotekama. Blokiranjem vektora napada (izvršavanje proizvoljnog koda), Safetensors čini dijeljenje modela sigurnijim, potičući suradnju i olakšavajući većem broju ljudi korištenje unaprijed istreniranih modela. Ovo načelo "vjeruj po dizajnu" ključno je za rast i sigurnost cijelog AI ekosustava.

Iako je Safetensors stvoren uglavnom iz sigurnosnih razloga (kako bi se ispravile ranjivosti pickle), također pruža velika poboljšanja performansi, kao što su brže učitavanje, manja potrošnja memorije i "zero-copy" operacije. Ova poboljšanja performansi nisu samo nuspojava; ona su izravan rezultat optimiziranog dizajna Safetensorsa, koji koristi mapiranje memorije i lijeno učitavanje za učinkovito rukovanje podacima. To ga čini prirodno učinkovitijim za velike modele.

Ova kombinacija poboljšane sigurnosti i značajnih poboljšanja performansi bila je ključni pokretač njegove široke primjene. Da je Safetensors nudio samo bolju sigurnost, njegovo usvajanje moglo bi biti sporije, posebno među korisnicima koji nisu odmah usredotočeni na sigurnost. Međutim, jasne i mjerljive prednosti u performansama pružaju snažan razlog svima za prelazak, ubrzavajući njegovu integraciju u velike platforme poput Hugging Facea. To pokazuje da u AI inženjerstvu tehnologija često mora ponuditi i sigurnosne i performanse prednosti kako bi bila brzo i široko prihvaćena u industriji.

3. Pregled ključnih formata modela

Osim Safetensorsa, nekoliko drugih formata važno je u svijetu strojnog učenja, svaki sa svojim značajkama i slučajevima upotrebe.

3.1. CKPT (Checkpoints)

AI "checkpoint" (točka provjere) nije jedan tip datoteke, već snimka stanja modela spremljena u određenom trenutku tijekom treniranja. Točke provjere ključne su za spremanje napretka tijekom dugotrajnih procesa treniranja.

Karakteristike i tipični slučajevi upotrebe

Točka provjere obično sadrži naučene parametre modela, poput njegovih težina i biasa. Može pohraniti i druge važne informacije potrebne za nastavak treniranja, kao što su stanje optimizatora, trenutni broj epohe i raspored stope učenja. Ekstenzije datoteka za točke provjere razlikuju se ovisno o okviru. Za PyTorch su to obično .pt ili .pth, dok su za TensorFlow/Keras .ckpt ili .h5.

Ključne prednosti CKPT datoteka uključuju:

• Ponovljivost: Osiguravaju da se model ponaša dosljedno pri ponovnom učitavanju, što je ključno za validaciju istraživanja i održavanje pouzdanih performansi.
• Suradnja: Lako se dijele, omogućujući programerima da repliciraju rezultate ili grade na postojećem radu.
• Fleksibilnost: PyTorchevi .pt/.pth formati posebno su fleksibilni, što olakšava spremanje i učitavanje modela u istraživačke svrhe.

Uobičajeni slučajevi upotrebe CKPT datoteka uključuju:

• Nastavak treniranja: Nastavljanje prekinute sesije treniranja, što štedi značajno vrijeme i računalne resurse.
• Fino podešavanje (Fine-Tuning): Korištenje unaprijed istreniranog modela kao početne točke za treniranje na novom, specifičnijem skupu podataka.
• Evaluacija modela: Testiranje performansi modela u različitim fazama treniranja bez potrebe za ponovnim treniranjem.
• Inferencija: Učitavanje potpuno istreniranog modela u produkcijski sustav za izradu predviđanja.
• Istraživanje i eksperimentiranje: Analiziranje kako se model razvija tijekom vremena i sustavno podešavanje njegovih parametara.
• Prijenosno učenje: Služe kao moćna polazna točka za srodne zadatke, što smanjuje vrijeme treniranja i potrebu za podacima.
• Oporavak od katastrofe: Djeluju kao sigurnosna kopija za nastavak rada nakon kvara tijekom dugog procesa treniranja.

Sigurnosna razmatranja

Najveći sigurnosni rizik kod CKPT datoteka, posebno PyTorchevih .pt i .pth formata, proizlazi iz njihovog oslanjanja na Pythonov modul pickle. To znači da se te datoteke mogu dizajnirati tako da sadrže i izvršavaju zlonamjerni Python kod prilikom učitavanja (ako se funkcija torch.load koristi bez postavke weights_only=True). Ova ranjivost (CWE-502: Deserijalizacija nepouzdanih podataka) može imati ozbiljne posljedice, poput krađe podataka, izmijenjenog ponašanja modela ili čak potpunog preuzimanja sustava.

Industrija je prepoznala ovaj rizik, a Safetensors se pojavio kao sigurnija opcija. Kao što je navedeno, "Većina AI checkpointa za Stable Diffusion sprema se u formatima poput .ckpt ili .safetensors... .safetensors je sigurnija alternativa, dizajnirana da spriječi izvršavanje zlonamjernog koda." To pokazuje jasan trend prema sigurnijim formatima za dijeljenje modela.

CKPT-ovi, posebno u PyTorchevu formatu .pt/.pth, poznati su po tome što su "vrlo fleksibilni". Ta im fleksibilnost omogućuje da spremaju ne samo težine modela, već i stanje optimizatora, pa čak i prilagođene Python klase, što je vrlo korisno za precizan nastavak treniranja.

Međutim, upravo ta fleksibilnost stvara sigurnosnu ranjivost. Budući da format može spremiti bilo koji Python objekt, napadač može sakriti zlonamjerni kod unutar datoteke modela. Kada se datoteka učita bez odgovarajućih mjera opreza, taj se kod izvršava. To ilustrira temeljni kompromis u dizajnu sustava: veća fleksibilnost često dovodi do veće površine napada i većih sigurnosnih rizika.

Rješenje industrije je usvajanje formata poput Safetensorsa za distribuciju modela, čak i ako se fleksibilniji .pt/.pth formati i dalje koriste za treniranje u kontroliranim okruženjima. To pokazuje rastuće razumijevanje da različite faze ML životnog ciklusa zahtijevaju različite razine sigurnosti. Moć spremanja punog stanja treniranja najbolje je čuvati unutar pouzdanog razvojnog okruženja, dok dijeljenje i implementacija zahtijevaju formate s ugrađenim sigurnosnim jamstvima.

3.2. ONNX (Open Neural Network Exchange)

ONNX, što znači Open Neural Network Exchange, otvoreni je standardni format za modele strojnog učenja. Dizajniran je kako bi omogućio da modeli rade na različitim okvirima za duboko učenje.

Karakteristike i primarni slučajevi upotrebe

ONNX datoteka sadrži potpunu strukturu modela, uključujući slijed operacija (računski graf), naučene težine i druge metapodatke. Glavna snaga ONNX-a je što djeluje kao univerzalni prevoditelj. Modeli istrenirani u okvirima poput PyTorcha, TensorFlowa ili scikit-learna mogu se pretvoriti u ONNX format, omogućujući pristup "istreniraj jednom, implementiraj bilo gdje".

Za razliku od formata koji pohranjuju samo težine modela (poput Safetensorsa ili GGUF-a), ONNX uključuje i računski graf modela. Ova struktura temeljena na grafu pruža "više fleksibilnosti pri pretvaranju modela između različitih okvira". ONNX nudi izvrsnu prenosivost na mnogim platformama, uređajima i hardverskim akceleratorima (CPU, GPU, AI čipovi). Modeli se pohranjuju u Protobuf formatu, što je učinkovit, platformski neutralan način za spremanje strukturiranih podataka.

Primarni slučajevi upotrebe ONNX-a uključuju:

• Implementacija na više okvira: Pokretanje modela u drugom okviru ili okruženju od onog u kojem je istreniran.
• Inferencija visokih performansi: ONNX Runtime je inferencijski mehanizam koji automatski optimizira modele za specifičan hardver, što često dovodi do bržih performansi.
• Implementacija na rubnim i mobilnim uređajima: Njegov mali otisak i optimizirani runtime čine ONNX dobrim izborom za pokretanje modela na uređajima s ograničenim resursima.
• Produkcijski sustavi: Njegova robusnost i prenosivost čine ga popularnim za implementaciju modela u zahtjevnim produkcijskim okruženjima.

Sigurnosna razmatranja

Suptilan, ali ozbiljan sigurnosni rizik kod ONNX modela je mogućnost arhitektonskih "stražnjih vrata" (backdoors). Napadač bi mogao izmijeniti računski graf modela kako bi uključio skrivenu putanju koja se aktivira samo određenim ulazima. Kada se aktiviraju, ta "stražnja vrata" mogu uzrokovati da model proizvodi zlonamjerne ili neočekivane izlaze, dok se na standardnim ulazima ponaša normalno, što otežava otkrivanje. Drugi rizici uključuju napade inverzije modela (izvlačenje osjetljivih podataka o treniranju) i adverzarijske napade (korištenje zlonamjernih ulaza za zavaravanje modela).

Kako bi se smanjile te prijetnje, preporučuje se nekoliko praksi:

• Digitalno potpisivati ONNX modele kako bi se osiguralo da nisu neovlašteno mijenjani.
• Implementirati modele u izoliranim okruženjima, poput Docker kontejnera, s jakom mrežnom sigurnošću.
• Koristiti alate za nadzor kako bi se pratilo ponašanje modela i otkrile anomalije.
• Slijediti opće sigurnosne najbolje prakse, poput sanitizacije ulaza i ažuriranja softvera.

ONNX je općenito sigurniji od formata temeljenih na pickle jer ne izvršava proizvoljan kod prilikom učitavanja. Međutim, ako ONNX model koristi prilagođene slojeve implementirane eksterno, ti slojevi bi mogli potencijalno sadržavati zlonamjerni Python kod ako se njima ne upravlja pažljivo.

Nedostaci

Iako ONNX podržava kvantizirane modele, "ne podržava nativno kvantizirane tenzore" tako besprijekorno kao GGUF. Razlaže ih na odvojene tenzore cjelobrojnih vrijednosti i faktora skaliranja, što "može dovesti do smanjene kvalitete". Pretvaranje modela sa složenim ili prilagođenim slojevima koji nisu standardni u ONNX-u također može biti teško i može zahtijevati prilagođeni rad koji bi mogao usporiti performanse.

Tradicionalni formati temeljeni na Pythonovom pickle (poput .pt datoteka) spremaju Python objekte, koji mogu uključivati izvršni kod. To tretira model kao program. Nasuprot tome, ONNX se usredotočuje na spremanje "računskog grafa" modela – apstraktnijeg prikaza njegovih operacija i protoka podataka, a ne specifične implementacije koda.

Ovaj pristup usmjeren na graf je ono što ONNX-u daje izvrsnu prenosivost između okvira i omogućuje mu optimizaciju za različit hardver. Definiranjem logike modela na višoj razini, on postaje neovisan o okviru u kojem je istreniran. To je značajan konceptualni pomak, prelazak s implementacije specifične za okvir na prenosivi računski prikaz. Iako to uvelike poboljšava fleksibilnost implementacije, stvara i nove sigurnosne brige, poput arhitektonskih "stražnjih vrata", koje zahtijevaju drugačije sigurnosne strategije od onih koje se koriste za formate temeljene na pickle.

3.3. GGUF (GPT-Generated Unified Format)

GGUF (GPT-Generated Unified Format) je format datoteke dizajniran specifično za učinkovitu pohranu i pokretanje velikih jezičnih modela (LLM). To je poboljšana verzija svog prethodnika, GGML-a, i ima za cilj olakšati korištenje LLM-ova, posebno na osobnim računalima.

Karakteristike i primarni slučajevi upotrebe

GGUF je dizajniran da smanji veličinu LLM-ova i znatno ubrza njihovo učitavanje. To je ključno za lokalno pokretanje modela, gdje su prostor za pohranu i RAM često ograničeni. Format koristi "napredne tehnike kompresije" kako bi to postigao. Također pruža standardni način za pakiranje težina, arhitekture i metapodataka modela, osiguravajući da radi dosljedno na različitim softverima, posebno s inferencijskim mehanizmima temeljenim na llama.cpp.

Ključna značajka GGUF-a je njegova izvrsna podrška za kvantizaciju. Kvantizacija smanjuje numeričku preciznost težina modela (npr. sa 16-bitnih na 4-bitne brojeve), što drastično smanjuje veličinu datoteke i računalne resurse potrebne za njegovo pokretanje. GGUF modeli dostupni su u različitim razinama kvantizacije (od Q2 do Q8), nudeći niz kompromisa između veličine i kvalitete.

• Niže razine kvantizacije (poput Q2 ili Q3) rezultiraju vrlo malim datotekama koje se mogu pokretati na hardveru s manje RAM-a, ali mogu imati blagi pad u kvaliteti modela.
• Više razine kvantizacije (poput Q6 ili Q8) održavaju bolju kvalitetu, ali zahtijevaju više pohrane i RAM-a.

Primarni slučajevi upotrebe GGUF-a uključuju:

• Lokalna implementacija LLM-a: Alati poput Ollame koriste GGUF kako bi korisnicima olakšali pokretanje moćnih LLM-ova na vlastitim računalima.
• Offline AI asistenti: Mnoge aplikacije koriste GGUF modele kako bi pružile lokalne, privatne alternative AI alatima u oblaku.
• Pomoć pri kodiranju: IDE-ovi i uređivači koda počinju koristiti GGUF modele za inteligentno dovršavanje koda.
• Lokalni chatbotovi: GGUF modeli često se koriste za privatne i responzivne konverzacijske AI sustave.
• AI istraživanje: Njegova fleksibilnost i podrška za kvantizaciju čine ga popularnim među istraživačima za eksperimentiranje s LLM-ovima na dostupnom hardveru.

Sigurnosna razmatranja

Suprotno uvriježenom mišljenju, temeljna GGML biblioteka (na kojoj se GGUF temelji) imala je dokumentirane ranjivosti povezane s "nedovoljnom validacijom ulazne datoteke". Ovi propusti mogu dovesti do "potencijalno iskoristivih ranjivosti oštećenja memorije tijekom parsiranja". Identificirani su specifični sigurnosni problemi gdje bi neprovjereni korisnički unos mogao uzrokovati preljeve hipa (heap overflows), potencijalno omogućujući napadaču izvršavanje zlonamjernog koda.

Postoji uobičajena zabluda da GGUF datoteka "ne može sadržavati kod" i da je "isključivo datoteka modela". Međutim, sigurnosno izvješće iz Databricksa pokazalo je da, iako sama GGUF datoteka ne sadrži izvršni Python kod, posebno izrađena datoteka može iskoristiti propuste u parseru (softveru koji čita datoteku) kako bi uzrokovala oštećenje memorije i postigla izvršavanje koda.

Kako bi se smanjili ti rizici, najbolje je:

• Koristiti modele i alate iz poznatih, uglednih izvora (poput Koboldcpp).
• Pokretati LLM-ove u izoliranim okruženjima (poput Docker kontejnera).
• Za vrlo osjetljive zadatke, razmislite o korištenju namjenskog stroja bez pristupa internetu.

Nedostaci

Veliki nedostatak GGUF-a je što se većina modela prvo razvija u drugim okvirima (poput PyTorcha) i mora se pretvoriti u GGUF format. Ovaj proces konverzije nije uvijek jednostavan, a neki modeli možda neće biti u potpunosti podržani od strane alata kompatibilnih s GGUF-om. Osim toga, modificiranje ili fino podešavanje modela nakon što je u GGUF formatu općenito "nije jednostavno".

Iako je GGUF dizajniran za brzo učitavanje i učinkovitu upotrebu VRAM-a, stvarna brzina inferencije (koliko brzo model generira odgovore) ponekad može biti sporija od nekvantiziranih modela. To se može dogoditi s nižim razinama kvantizacije zbog dodatnog rada potrebnog za dekvantizaciju težina tijekom inferencije. Glavna prednost GGUF-a u performansama je što omogućuje pokretanje velikih modela na potrošačkom hardveru štednjom VRAM-a, a ne nužno što ih čini bržima.

Definirajuća značajka GGUF-a je njegova duboka integracija s kvantizacijom, koja omogućuje pokretanje moćnih LLM-ova na "potrošačkom hardveru" s ograničenim VRAM-om. To pomaže demokratizirati pristup AI-u. Međutim, ova učinkovitost uključuje kompromise. Iako kvantizacija smanjuje veličinu modela, niže razine mogu blago smanjiti kvalitetu modela. Također, brzina inferencije ponekad može biti sporija nego kod nekvantiziranih modela, posebno ako nekvantizirana verzija stane u potpunosti u VRAM.

Prednost GGUF-a u "brzini" obično se odnosi na brže učitavanje i mogućnost pokretanja većeg modela na ograničenom hardveru, a ne na sirove performanse. GGUF savršeno odražava trend "demokratizacije AI-a" čineći napredne modele dostupnima većem broju ljudi. To zahtijeva od korisnika da uravnoteže kvalitetu modela s ograničenjima svog hardvera. Dostupnost više razina kvantizacije omogućuje korisnicima prilagodbu modela svojim specifičnim potrebama, što je ključ popularnosti formata u lokalnoj AI zajednici.

4. Usporedna analiza formata

Odabir odgovarajućeg formata za serijalizaciju modela strateška je odluka koja ovisi o uravnoteženju različitih čimbenika, uključujući sigurnost, performanse, učinkovitost resursa, interoperabilnost i specifičan kontekst primjene. Tablica u nastavku pruža usporedni pregled Safetensorsa, CKPT-a, ONNX-a i GGUF-a kroz ove kritične dimenzije.

Značajka / Format	Safetensors	CKPT (.pt/.pth)	ONNX	GGUF
Primarna svrha	Sigurna, brza pohrana tenzora za modele dubokog učenja	Točke provjere treniranja, parametri modela, očuvanje stanja	Interoperabilnost između okvira, implementacija na različitom hardveru	Učinkovita pohrana LLM-ova, optimizirana lokalna inferencija na potrošačkom hardveru
Sigurnosni profil	Visok (nema izvršavanja proizvoljnog koda po dizajnu)	Nizak (izvršavanje proizvoljnog koda putem Pickle deserijalizacije)	Umjeren (nema proizvoljnog izvršavanja koda, ali su moguće arhitektonske "stražnje vrata")	Umjeren (ranjivosti temeljne biblioteke, ali sama datoteka nije izvršni Python kod)
Brzina učitavanja	Vrlo brzo ("zero-copy", lijeno učitavanje)	Različito (može biti sporije od Safetensorsa zbog potpunog učitavanja)	Brzo (optimizirani runtime, optimizacije grafa)	Brzo (mmap, učinkovito za LLM-ove)
Potrošnja memorije	Učinkovita (lijeno učitavanje, djelomično učitavanje)	Može biti visoka (učitava cijeli graf objekata)	Učinkovita (optimizacije runtime-a)	Vrlo učinkovita (kvantizacija, ušteda VRAM-a)
Prostor na disku	Učinkovit (kompresija, samo tenzori)	Različito (može biti veliko, uključuje puno stanje)	Učinkovit (Protobuf format)	Vrlo učinkovit (kvantizacija, napredna kompresija)
Podrška za kvantizaciju	Da, ali manje fleksibilna od GGUF-a (ovisno o PyTorchu)	Da (ovisno o okviru)	Ograničena nativna podrška (dekomponira tenzore)	Robusna (više razina, Q2-Q8, specijalizirane varijante)
Prenosivost	Visoka (na različitim programskim jezicima)	Niska (usko vezano za specifične okvire)	Vrlo visoka (među okvirima, među platformama, različit hardver)	Visoka (posebno za ekosustav llama.cpp)
Primarne primjene	Sigurno dijeljenje modela, zadani format na Hugging Faceu	Treniranje, fino podešavanje, istraživanje, spremanje modela	Produkcijska implementacija, mobilni/rubni uređaji, interoperabilnost	Lokalna LLM inferencija, potrošački hardver, aplikacije za chat
Ključna prednost	Sigurnost po dizajnu, brzo učitavanje, mali memorijski otisak	Očuvanje stanja treniranja, detaljna ponovljivost	Univerzalna implementacija, optimizacija runtime-a, neovisnost o okviru	Učinkovitost LLM-a na potrošačkom hardveru, fleksibilna kvantizacija
Ključni nedostatak	Potreban JSON parser za metapodatke u C++	Rizik od izvršavanja proizvoljnog koda, velike veličine datoteka	Složenost za prilagođene slojeve, ograničena nativna kvantizacija	Često potrebna konverzija, potencijalno usporavanje inferencije s nižim kvantizacijama

5. Zaključak

Svijet formata za modele strojnog učenja neprestano se razvija, potaknut potrebom za boljom sigurnošću, performansama i interoperabilnošću. Tradicionalni formati, poput CKPT datoteka temeljenih na pickle, bili su fleksibilni za istraživanje, ali su uveli ozbiljne sigurnosne rizike dopuštajući izvršavanje proizvoljnog koda. To je dovelo do razvoja i usvajanja novijih, sigurnijih formata.

Safetensors je vodeći primjer ovog pomaka. Odvajanjem podataka od koda i korištenjem učinkovitih tehnika učitavanja, nudi sigurnu i visokoučinkovitu alternativu za dijeljenje modela dubokog učenja, posebno u ekosustavu Hugging Face. Njegove dvostruke prednosti sigurnosti i brzine učinile su ga popularnim izborom u modernim AI radnim procesima.

ONNX rješava veliki problem nekompatibilnosti okvira. Predstavljanjem modela kao apstraktnih računskih grafova, omogućuje njihovu implementaciju na različitom hardveru i softveru. Iako ONNX sprječava izvršavanje proizvoljnog koda viđeno u pickle, ima vlastite sigurnosne brige, poput arhitektonskih "stražnjih vrata", koje zahtijevaju drugačije zaštitne mjere.

GGUF je specijalizirano rješenje za pokretanje velikih jezičnih modela na potrošačkom hardveru. Njegove moćne značajke kvantizacije drastično smanjuju veličinu modela i potrošnju memorije, čineći moćne LLM-ove dostupnima većem broju ljudi. Međutim, ova učinkovitost ponekad može rezultirati sporijim brzinama inferencije, a njegove temeljne biblioteke pokazale su ranjivosti koje zahtijevaju oprez korisnika.

U konačnici, najbolji format ovisi o specifičnom kontekstu.

• Safetensors je najbolji izbor za sigurno i učinkovito dijeljenje modela dubokog učenja.
• ONNX je idealan za implementaciju modela na različitim okvirima i hardveru.
• GGUF nudi neusporedivu učinkovitost za pokretanje velikih jezičnih modela na lokalnim uređajima s ograničenim resursima.

Iako su tradicionalni CKPT formati i dalje korisni za spremanje napretka treniranja u kontroliranim okruženjima, zamjenjuju ih sigurnije alternative za javnu distribuciju. Kako AI područje sazrijeva, kontinuirani razvoj ovih specijaliziranih formata bit će ključan za napredak snage i dosega strojnog učenja.