Safetensors, CKPT, ONNX, GGUF i inne kluczowe formaty modeli AI [2025]

Wzrost znaczenia sztucznej inteligencji i uczenia maszynowego stworzył krytyczną potrzebę opracowania metod przechowywania i dystrybucji modeli, które są wydajne, bezpieczne i kompatybilne z różnymi systemami. W miarę jak modele stają się coraz bardziej złożone i wykorzystywane w coraz bardziej zróżnicowanych zastosowaniach, wybór formatu serializacji staje się kluczową decyzją. Wybór ten wpływa na wydajność, zużycie zasobów i bezpieczeństwo systemów AI.

Niniejszy raport analizuje wiodące formaty serializacji modeli, w tym Safetensors, CKPT, ONNX i GGUF. Podkreśla ich unikalne cechy, popularne zastosowania oraz wzajemne porównanie.

1. Wprowadzenie do serializacji modeli w AI/ML

Serializacja modelu to proces zapisywania wytrenowanego modelu uczenia maszynowego do pliku. Plik ten można następnie przechowywać, udostępniać lub ponownie wczytywać do późniejszego wykorzystania, takiego jak generowanie predykcji, kontynuowanie treningu czy przeprowadzanie analiz. Zdolność ta jest niezbędna w całym cyklu życia AI/ML, od badań i rozwoju po wdrożenia na dużą skalę.

Krytyczna rola formatów modeli w cyklu życia AI/ML

Zapisywanie modeli w standardowym formacie jest kluczowe z kilku powodów:

• Odtwarzalność: Pozwala na precyzyjne powtarzanie i weryfikację eksperymentów badawczych.
• Współpraca: Standardowe formaty ułatwiają zespołom udostępnianie modeli, umożliwiając im współpracę i integrację modeli w większe systemy.
• Wdrożenie: Serializacja przekształca wytrenowany model w przenośny plik, który można wczytać i uruchomić w różnych środowiskach, od serwerów chmurowych po urządzenia brzegowe.
• Uczenie transferowe: Umożliwia wykorzystanie wstępnie wytrenowanych modeli jako podstawy do nowych zadań, co znacznie oszczędza czas treningu i ilość potrzebnych danych.

Przegląd wyzwań, którym sprostają nowoczesne formaty

Wraz z postępem uczenia maszynowego nowoczesne formaty serializacji ewoluowały, aby rozwiązać kilka kluczowych wyzwań:

• Bezpieczeństwo: Głównym problemem jest ryzyko bezpieczeństwa w tradycyjnych metodach, zwłaszcza tych wykorzystujących moduł pickle w Pythonie. Metody te mogą pozwalać na uruchomienie złośliwego kodu podczas wczytywania modelu, co stwarza poważne zagrożenie bezpieczeństwa, jeśli model pochodzi z niezaufanego źródła.
• Wydajność: Dzisiejsze duże i złożone modele wymagają bardzo szybkiego wczytywania i efektywnego zarządzania pamięcią. Jest to szczególnie ważne w przypadku urządzeń o ograniczonych zasobach, takich jak telefony komórkowe, oraz w aplikacjach wymagających natychmiastowej odpowiedzi.
• Przenośność i interoperacyjność: W świecie uczenia maszynowego wykorzystuje się wiele różnych frameworków (takich jak PyTorch, TensorFlow i JAX). Potrzebne są formaty, które pozwalają na łatwe przenoszenie modeli między tymi frameworkami i uruchamianie ich na różnym sprzęcie (GPU, TPU) bez konieczności wprowadzania większych modyfikacji.

W ostatnich latach społeczność AI przeszła na bardziej wydajne i bezpieczne formaty, takie jak GGUF i Safetensors, co odzwierciedla wspólny wysiłek na rzecz rozwiązania tych problemów.

Wczesne metody zapisywania modeli ML, takie jak wykorzystanie przez PyTorch modułu pickle w plikach .pt i .pth, zostały wybrane ze względu na łatwość użycia. Mogły one bez problemu zapisywać złożone obiekty Pythona, w tym zarówno architekturę modelu, jak i jego stan treningowy (np. optymalizator). Choć było to wygodne w środowisku badawczym Pythona, stworzyło poważną lukę w zabezpieczeniach. Moduł pickle jest zaprojektowany w taki sposób, że pozwala na uruchomienie dowolnego kodu osadzonego w pliku podczas procesu wczytywania. Oznacza to, że załadowanie pozornie nieszkodliwego modelu z niezaufanego źródła może skompromitować cały system.

Stworzenie formatów takich jak Safetensors, a także rosnące wykorzystanie ONNX i GGUF, jest bezpośrednią odpowiedzią na to zagrożenie bezpieczeństwa, jak również na potrzebę lepszej wydajności i przenośności. Safetensors, na przykład, został stworzony specjalnie, aby zapobiegać uruchamianiu złośliwego kodu. Pokazuje to, że w miarę dojrzewania dziedziny uczenia maszynowego i przechodzenia AI od badań do zastosowań w świecie rzeczywistym, bezpieczeństwo i wydajność nie są już kwestiami drugorzędnymi, lecz podstawowymi zasadami przy projektowaniu nowych formatów. Ta zmiana stanowi konieczne przejście od elastyczności zorientowanej na badania do bezpieczeństwa i solidności na poziomie produkcyjnym, spłacając „dług techniczny” starszych, bardziej liberalnych metod.

Formaty natywne dla frameworków, takie jak .pt/.pth dla PyTorch i .ckpt/.h5 dla TensorFlow/Keras, są ściśle zintegrowane ze swoimi specyficznymi frameworkami. Choć sprawia to, że są wydajne w ramach jednego ekosystemu, powoduje znaczne problemy z interoperacyjnością. Model wytrenowany w jednym frameworku nie może być łatwo użyty w innym bez skomplikowanych konwersji lub utrzymywania oddzielnych systemów dla każdego z nich. Prowadzi to do rozłącznych procesów rozwoju i wdrażania.

Format Open Neural Network Exchange (ONNX) został stworzony, aby przełamać te bariery. Zapewnia on „międzyplatformowy” i „neutralny dla dostawcy” standard dla modeli. Osiąga to poprzez zdefiniowanie struktury modelu (jego grafu obliczeniowego) w sposób abstrakcyjny, niezależny od pojedynczego frameworka. Podobnie GGUF, choć pierwotnie stworzony dla projektu llama.cpp, również koncentruje się na poprawie kompatybilności dużych modeli językowych (LLM) na różnych platformach.

Różnorodność dzisiejszych formatów odzwierciedla fundamentalne napięcie w branży ML: pragnienie posiadania specyficznych dla frameworka funkcji podczas rozwoju (np. dynamiczny graf PyTorch zapewniający elastyczność badawczą) kontra potrzeba uniwersalnego, wydajnego i bezpiecznego wdrożenia. To napięcie oznacza, że wiele formatów będzie nadal istnieć, co sprawia, że narzędzia do konwersji i zaawansowane potoki MLOps stają się coraz ważniejsze w łączeniu rozwoju modeli z ich wdrażaniem. Różne formaty będą nadal używane na poszczególnych etapach cyklu życia ML w zależności od ich unikalnych zalet.

2. Zrozumienie formatu Safetensors

Safetensors to duży krok naprzód w serializacji modeli, zaprojektowany specjalnie w celu rozwiązania problemów z bezpieczeństwem i wydajnością tradycyjnych metod przechowywania modeli.

Definicja i podstawowe zasady projektowe

Safetensors to nowoczesny, bezpieczny i szybki format serializacji dla modeli głębokiego uczenia, stworzony przez Hugging Face. Jego głównym celem jest zapewnienie bezpiecznego sposobu przechowywania i udostępniania tensorów — wielowymiarowych tablic, które są podstawowymi elementami składowymi danych w uczeniu maszynowym. Format ten został zaprojektowany tak, aby był bezpieczniejszy i szybszy niż starsze formaty, takie jak pickle.

Podstawową zasadą Safetensors jest ścisłe oddzielenie wag modelu (tensorów) od jakiegokolwiek kodu wykonywalnego. Taka konstrukcja bezpośrednio eliminuje luki w zabezpieczeniach występujące w starszych metodach serializacji.

Kluczowe cechy

• Zero-copy i leniwe ładowanie: Kluczem do wydajności Safetensors jest jego zdolność do działania w trybie „zero-copy”. Pozwala to na mapowanie danych modelu bezpośrednio z dysku do pamięci bez tworzenia dodatkowych kopii, co oszczędza pamięć i przyspiesza ładowanie. Format wspiera również „leniwe ładowanie”, co oznacza, że do pamięci RAM wczytywane są tylko te części dużego modelu, które są aktualnie potrzebne. Jest to bardzo przydatne w przypadku bardzo dużych modeli lub systemów o ograniczonej pamięci.
• Ustrukturyzowane zarządzanie metadanymi: Każdy plik Safetensors zawiera oddzielną sekcję metadanych w formacie JSON. Ta sekcja zawiera listę wszystkich tensorów w modelu wraz z ich szczegółami, takimi jak kształt, typ danych i nazwa. Metadane wskazują, gdzie w pliku przechowywane są właściwe dane tensorów, co poprawia zarówno czytelność, jak i bezpieczeństwo.
• Przechowywanie wyłącznie danych tensorowych: Najważniejszą cechą bezpieczeństwa Safetensors jest to, że został on zaprojektowany, aby zawierać „wyłącznie surowe dane tensorowe i powiązane metadane”. Zgodnie ze swoją architekturą „nie pozwala na serializację dowolnego kodu Pythona”. Ta fundamentalna decyzja projektowa eliminuje ryzyko uruchomienia złośliwego kodu podczas wczytywania modelu.
• Wsparcie dla kwantyzacji: Safetensors może obsługiwać skwantyzowane tensory, co pomaga zmniejszyć rozmiar modeli i zużycie pamięci. Jednak jego wsparcie dla kwantyzacji „nie jest tak elastyczne jak w przypadku GGUF”, ponieważ zależy od funkcji oferowanych przez framework PyTorch.

Główne korzyści

• Zwiększone bezpieczeństwo (ograniczenie możliwości wykonania dowolnego kodu): To największa zaleta Safetensors. Z założenia całkowicie uniemożliwia zapisywanie kodu Pythona w pliku. Eliminuje to najpoważniejsze ryzyko bezpieczeństwa występujące w formatach opartych na pickle: uruchomienie złośliwego kodu podczas ładowania modelu. To sprawia, że Safetensors jest najlepszym wyborem do udostępniania i używania modeli z publicznych lub niezaufanych źródeł. Format zawiera również inne funkcje bezpieczeństwa, takie jak „zaawansowane techniki szyfrowania” i kontrolę dostępu, aby zapobiec modyfikacji danych.
• Optymalizacja wydajności: Zastosowanie trybu zero-copy i leniwego ładowania skutkuje „krótszym czasem ładowania i mniejszym zużyciem pamięci”. Testy porównawcze pokazują, że jest on znacznie „szybszy” niż pickle i może być „76,6 razy szybszy na CPU i 2 razy szybszy na GPU w porównaniu z tradycyjną metodą zapisu PyTorch”.
• Przenośność: Format został zaprojektowany z myślą o przenośności, co oznacza, że działa w różnych językach programowania. Ułatwia to udostępnianie i używanie modeli w różnych systemach oprogramowania.
• Bezproblemowa integracja: Safetensors zapewnia „bezproblemową integrację z istniejącymi frameworkami i bibliotekami uczenia maszynowego”. Pozwala to deweloperom na łatwe wdrożenie tego bezpieczniejszego formatu bez wprowadzania znaczących zmian w ich obecnych procesach pracy.

Porównanie z tradycyjną serializacją (np. Pickle)

Moduł pickle w Pythonie, używany w plikach .pt i .pth w PyTorch, jest z natury niebezpieczny. Pozwala na ukrycie dowolnego kodu wewnątrz serializowanego pliku i jego automatyczne uruchomienie po załadowaniu. Jest to dobrze znana i poważna podatność, zwłaszcza przy używaniu modeli pobranych z publicznych stron internetowych. Chociaż narzędzia takie jak picklescan mogą wykrywać niektóre złośliwe wzorce, nie są one niezawodne i nie mogą zagwarantować bezpieczeństwa.

Safetensors został stworzony specjalnie w celu rozwiązania tego problemu bezpieczeństwa. Poprzez dopuszczenie do pliku wyłącznie surowych danych tensorowych i ustrukturyzowanych metadanych, eliminuje możliwość wykonania złośliwego kodu. Poza bezpieczeństwem, Safetensors oferuje również znacznie lepszą wydajność. Jego konstrukcja zoptymalizowana pod kątem mapowania pamięci i leniwego ładowania prowadzi do znacznie szybszego wczytywania i bardziej efektywnego wykorzystania pamięci w porównaniu z pickle, który zazwyczaj wczytuje cały model do pamięci naraz.

Luka bezpieczeństwa w module pickle Pythona oznacza, że pobranie pliku .pt lub .pth z niezaufanego źródła to nie tylko pobieranie danych; to jak uruchomienie potencjalnie szkodliwego programu. Wiadomo, że „nie ma w 100% niezawodnego rozwiązania do weryfikacji bezpieczeństwa pliku pickle bez jego wykonania”. To przerzuca na użytkownika ciężar sprawdzenia bezpieczeństwa pliku, co jest trudne i zawodne.

Safetensors zmienia tę dynamikę, projektując sam format tak, aby zapobiec umieszczaniu szkodliwego kodu w pierwszej kolejności. Przenosi odpowiedzialność za bezpieczeństwo z trudnego procesu weryfikacji przez użytkownika na wbudowane bezpieczeństwo formatu. Oznacza to istotną zmianę w społeczności open-source AI, przechodząc od podejścia „zweryfikuj, potem zaufaj” do modelu „zaufanie wynikające z projektu”. Ta zmiana potwierdza, że skanowanie w poszukiwaniu wszystkich możliwych zagrożeń w złożonych plikach jest prawie niemożliwe. Poprzez zablokowanie wektora ataku (wykonanie dowolnego kodu), Safetensors czyni udostępnianie modeli bezpieczniejszym, zachęcając do współpracy i ułatwiając większej liczbie osób korzystanie z wstępnie wytrenowanych modeli. Ta zasada „zaufania wynikającego z projektu” jest kluczowa dla rozwoju i bezpieczeństwa całego ekosystemu AI.

Chociaż Safetensors został stworzony głównie ze względów bezpieczeństwa (w celu naprawienia podatności pickle), zapewnia również znaczne korzyści w zakresie wydajności, takie jak szybsze ładowanie, mniejsze zużycie pamięci i operacje zero-copy. Te zyski wydajnościowe nie są tylko efektem ubocznym; są bezpośrednim wynikiem zoptymalizowanej konstrukcji Safetensors, która wykorzystuje mapowanie pamięci i leniwe ładowanie do efektywnego zarządzania danymi. To sprawia, że jest naturalnie bardziej wydajny dla dużych modeli.

Ta kombinacja zwiększonego bezpieczeństwa oraz znaczących ulepszeń wydajności była kluczowym czynnikiem jego powszechnej adaptacji. Gdyby Safetensors oferował tylko lepsze bezpieczeństwo, jego przyjęcie mogłoby być wolniejsze, szczególnie wśród użytkowników, którzy nie koncentrują się bezpośrednio na bezpieczeństwie. Jednak wyraźne i mierzalne korzyści wydajnościowe stanowią silny argument dla wszystkich, aby przejść na ten format, przyspieszając jego integrację z głównymi platformami, takimi jak Hugging Face. Pokazuje to, że w inżynierii AI technologia często musi oferować zarówno korzyści w zakresie bezpieczeństwa, jak i wydajności, aby została szybko i szeroko zaakceptowana przez branżę.

3. Przegląd kluczowych formatów modeli

Oprócz Safetensors, w świecie uczenia maszynowego istnieje kilka innych ważnych formatów, z których każdy ma swoje własne cechy i zastosowania.

3.1. CKPT (Checkpointy)

Checkpoint w AI to nie pojedynczy typ pliku, ale raczej migawka stanu modelu zapisana w określonym momencie podczas treningu. Checkpointy są niezbędne do zapisywania postępów podczas długich sesji treningowych.

Charakterystyka i typowe przypadki użycia

Checkpoint zazwyczaj zawiera wyuczone parametry modelu, takie jak jego wagi i biasy. Może również przechowywać inne ważne informacje potrzebne do wznowienia treningu, takie jak stan optymalizatora, numer bieżącej epoki i harmonogram współczynnika uczenia. Rozszerzenia plików dla checkpointów różnią się w zależności od frameworka. Dla PyTorch są to zazwyczaj .pt lub .pth, podczas gdy dla TensorFlow/Keras są to .ckpt lub .h5.

Kluczowe korzyści z plików CKPT obejmują:

• Odtwarzalność: Zapewniają, że model zachowuje się spójnie po ponownym załadowaniu, co jest kluczowe dla walidacji badań i utrzymania niezawodnej wydajności.
• Współpraca: Są łatwe do udostępniania, co pozwala deweloperom na powielanie wyników lub budowanie na istniejącej pracy.
• Elastyczność: Formaty .pt/.pth w PyTorch są szczególnie elastyczne, co ułatwia zapisywanie i ładowanie modeli do celów badawczych.

Typowe zastosowania plików CKPT obejmują:

• Wznawianie treningu: Kontynuowanie sesji treningowej, która została przerwana, co oszczędza znaczną ilość czasu i zasobów obliczeniowych.
• Dostrajanie (fine-tuning): Używanie wstępnie wytrenowanego modelu jako punktu wyjścia do treningu na nowym, bardziej specyficznym zbiorze danych.
• Ewaluacja modelu: Testowanie wydajności modelu na różnych etapach treningu bez konieczności ponownego trenowania.
• Wnioskowanie (inferencja): Ładowanie w pełni wytrenowanego modelu do systemu produkcyjnego w celu generowania predykcji.
• Badania i eksperymenty: Analizowanie ewolucji modelu w czasie i systematyczne dostrajanie jego parametrów.
• Uczenie transferowe: Służą jako potężny punkt wyjścia do powiązanych zadań, co skraca czas treningu i zapotrzebowanie na dane.
• Odzyskiwanie po awarii: Działają jako kopia zapasowa, aby wznowić pracę po awarii podczas długiego procesu treningowego.

Kwestie bezpieczeństwa

Największe ryzyko bezpieczeństwa związane z plikami CKPT, zwłaszcza formatami .pt i .pth w PyTorch, wynika z ich zależności od modułu pickle w Pythonie. Oznacza to, że pliki te mogą być zaprojektowane tak, aby zawierały i uruchamiały złośliwy kod Pythona podczas ładowania (jeśli funkcja torch.load jest używana bez ustawienia weights_only=True). Ta podatność (CWE-502: Deserializacja niezaufanych danych) może mieć poważne konsekwencje, takie jak kradzież danych, zmiana zachowania modelu, a nawet pełne przejęcie systemu.

Branża uznała to ryzyko, a Safetensors stał się bezpieczniejszą opcją. Jak zauważono, „Większość checkpointów AI Stable Diffusion jest zapisywana w formatach takich jak .ckpt lub .safetensors... .safetensors jest bezpieczniejszą alternatywą, zaprojektowaną w celu zapobiegania wykonaniu złośliwego kodu”. Pokazuje to wyraźny trend w kierunku bezpieczniejszych formatów do udostępniania modeli.

Checkpointy, szczególnie w formacie .pt/.pth w PyTorch, są znane z tego, że są „bardzo elastyczne”. Ta elastyczność pozwala im zapisywać nie tylko wagi modelu, ale także stan optymalizatora, a nawet niestandardowe klasy Pythona, co jest bardzo przydatne do precyzyjnego wznawiania treningu.

Jednak ta sama elastyczność jest przyczyną luki w zabezpieczeniach. Ponieważ format może zapisać dowolny obiekt Pythona, atakujący może ukryć złośliwy kod w pliku modelu. Gdy plik jest ładowany bez odpowiednich środków ostrożności, ten kod jest uruchamiany. Ilustruje to fundamentalny kompromis w projektowaniu systemów: większa elastyczność często prowadzi do większej powierzchni ataku i większych ryzyk bezpieczeństwa.

Rozwiązaniem branży jest przyjęcie formatów takich jak Safetensors do dystrybucji modeli, nawet jeśli bardziej elastyczne formaty .pt/.pth są nadal używane do treningu w kontrolowanych środowiskach. Pokazuje to rosnące zrozumienie, że różne etapy cyklu życia ML wymagają różnych poziomów bezpieczeństwa. Możliwość zapisania pełnego stanu treningowego najlepiej zachować w zaufanym środowisku deweloperskim, podczas gdy udostępnianie i wdrażanie wymagają formatów z wbudowanymi gwarancjami bezpieczeństwa.

3.2. ONNX (Open Neural Network Exchange)

ONNX, co oznacza Open Neural Network Exchange, to otwarty standardowy format dla modeli uczenia maszynowego. Został zaprojektowany, aby umożliwić modelom działanie w różnych frameworkach głębokiego uczenia.

Charakterystyka i główne przypadki użycia

Plik ONNX zawiera pełną strukturę modelu, w tym jego sekwencję operacji (graf obliczeniowy), wyuczone wagi i inne metadane. Główną zaletą ONNX jest to, że działa jako uniwersalny translator. Modele wytrenowane w frameworkach takich jak PyTorch, TensorFlow czy scikit-learn mogą być konwertowane do formatu ONNX, umożliwiając podejście „trenuj raz, wdrażaj wszędzie”.

W przeciwieństwie do formatów, które przechowują tylko wagi modelu (jak Safetensors czy GGUF), ONNX zawiera graf obliczeniowy modelu. Ta oparta na grafie struktura zapewnia „większą elastyczność podczas konwertowania modeli między różnymi frameworkami”. ONNX oferuje doskonałą przenośność na wielu platformach, urządzeniach i akceleratorach sprzętowych (CPU, GPU, chipy AI). Modele są przechowywane w formacie Protobuf, który jest wydajnym i neutralnym platformowo sposobem zapisu ustrukturyzowanych danych.

Główne przypadki użycia ONNX obejmują:

• Wdrożenie międzyplatformowe: Uruchamianie modelu w innym frameworku lub środowisku niż to, w którym został wytrenowany.
• Wysokowydajne wnioskowanie: ONNX Runtime to silnik wnioskowania, który automatycznie optymalizuje modele pod kątem konkretnego sprzętu, co często prowadzi do szybszej wydajności.
• Wdrożenie na urządzeniach brzegowych i mobilnych: Jego niewielki rozmiar i zoptymalizowany runtime sprawiają, że ONNX jest dobrym wyborem do uruchamiania modeli na urządzeniach o ograniczonych zasobach.
• Systemy produkcyjne: Jego solidność i przenośność sprawiają, że jest popularny do wdrażania modeli w wymagających środowiskach produkcyjnych.

Kwestie bezpieczeństwa

Subtelnym, ale poważnym ryzykiem bezpieczeństwa w przypadku modeli ONNX jest możliwość istnienia architektonicznych backdoorów. Atakujący mógłby zmodyfikować graf obliczeniowy modelu, aby zawierał ukrytą ścieżkę, która jest uruchamiana tylko przez określone dane wejściowe. Po aktywacji, ten backdoor mógłby spowodować, że model wygeneruje złośliwe lub nieoczekiwane wyniki, zachowując się normalnie przy standardowych danych wejściowych, co utrudnia wykrycie. Inne zagrożenia obejmują ataki inwersji modelu (wyodrębnianie wrażliwych danych treningowych) i ataki adwersarialne (używanie złośliwych danych wejściowych do oszukania modelu).

Aby zmniejszyć te zagrożenia, zaleca się kilka praktyk:

• Cyfrowe podpisywanie modeli ONNX, aby upewnić się, że nie zostały zmodyfikowane.
• Wdrażanie modeli w izolowanych środowiskach, takich jak kontenery Docker, z silnymi zabezpieczeniami sieciowymi.
• Używanie narzędzi monitorujących do śledzenia zachowania modelu i wykrywania anomalii.
• Przestrzeganie ogólnych najlepszych praktyk bezpieczeństwa, takich jak sanityzacja danych wejściowych i aktualizowanie oprogramowania.

ONNX jest generalnie bezpieczniejszy niż formaty oparte na pickle, ponieważ nie uruchamia dowolnego kodu podczas ładowania. Jednak jeśli model ONNX używa niestandardowych warstw zaimplementowanych zewnętrznie, te warstwy mogą potencjalnie zawierać złośliwy kod Pythona, jeśli nie są zarządzane ostrożnie.

Wady

Mimo że ONNX obsługuje modele skwantyzowane, „nie wspiera natywnie skwantyzowanych tensorów” tak płynnie jak GGUF. Rozkłada je na oddzielne tensory liczb całkowitych i współczynników skali, co „może prowadzić do obniżenia jakości”. Konwersja modeli ze złożonymi lub niestandardowymi warstwami, które nie są standardowe w ONNX, może być również trudna i wymagać niestandardowej pracy, która mogłaby spowolnić wydajność.

Tradycyjne formaty oparte na pickle Pythona (jak pliki .pt) zapisują obiekty Pythona, które mogą zawierać kod wykonywalny. Traktuje to model jak program. W przeciwieństwie do tego, ONNX skupia się na zapisywaniu „grafu obliczeniowego” modelu — bardziej abstrakcyjnej reprezentacji jego operacji i przepływu danych, a nie konkretnej implementacji kodu.

To podejście skoncentrowane na grafie daje ONNX doskonałą przenośność między frameworkami i pozwala na optymalizację pod kątem różnego sprzętu. Definiując logikę modelu na wyższym poziomie, staje się on niezależny od frameworka, w którym został wytrenowany. Jest to znacząca zmiana koncepcyjna, przechodząca od implementacji specyficznej dla frameworka do przenośnej reprezentacji obliczeniowej. Chociaż znacznie poprawia to elastyczność wdrażania, stwarza również nowe problemy z bezpieczeństwem, takie jak architektoniczne backdoory, które wymagają innych strategii bezpieczeństwa niż te stosowane w formatach opartych na pickle.

3.3. GGUF (GPT-Generated Unified Format)

GGUF (GPT-Generated Unified Format) to format pliku zaprojektowany specjalnie do wydajnego przechowywania i uruchamiania dużych modeli językowych (LLM). Jest to ulepszona wersja swojego poprzednika, GGML, i ma na celu ułatwienie korzystania z LLM, zwłaszcza na komputerach osobistych.

Charakterystyka i główne przypadki użycia

GGUF został zaprojektowany, aby zmniejszyć rozmiar LLM i znacznie przyspieszyć ich ładowanie. Jest to kluczowe do uruchamiania modeli lokalnie, gdzie przestrzeń dyskowa i pamięć RAM są często ograniczone. Format wykorzystuje „zaawansowane techniki kompresji”, aby to osiągnąć. Zapewnia również standardowy sposób pakowania wag, architektury i metadanych modelu, zapewniając jego spójne działanie w różnym oprogramowaniu, zwłaszcza w silnikach wnioskowania opartych na llama.cpp.

Kluczową cechą GGUF jest doskonałe wsparcie dla kwantyzacji. Kwantyzacja zmniejsza precyzję numeryczną wag modelu (np. z 16-bitowych do 4-bitowych liczb), co drastycznie zmniejsza rozmiar pliku i zasoby obliczeniowe potrzebne do jego uruchomienia. Modele GGUF są dostępne w różnych poziomach kwantyzacji (od Q2 do Q8), oferując szereg kompromisów między rozmiarem a jakością.

• Niższe poziomy kwantyzacji (jak Q2 lub Q3) skutkują bardzo małymi plikami, które mogą działać na sprzęcie z mniejszą ilością pamięci RAM, ale mogą mieć niewielki spadek jakości modelu.
• Wyższe poziomy kwantyzacji (jak Q6 lub Q8) utrzymują lepszą jakość, ale wymagają więcej miejsca na dysku i pamięci RAM.

Główne przypadki użycia GGUF obejmują:

• Lokalne wdrożenie LLM: Narzędzia takie jak Ollama używają GGUF, aby ułatwić użytkownikom uruchamianie potężnych LLM na własnych komputerach.
• Asystenci AI offline: Wiele aplikacji używa modeli GGUF, aby zapewnić lokalne, prywatne alternatywy dla narzędzi AI opartych na chmurze.
• Asystent kodowania: IDE i edytory kodu zaczynają używać modeli GGUF do inteligentnego uzupełniania kodu.
• Lokalne chatboty: Modele GGUF są często używane w prywatnych i responsywnych systemach konwersacyjnych AI.
• Badania AI: Jego elastyczność i wsparcie dla kwantyzacji sprawiają, że jest popularny wśród badaczy do eksperymentowania z LLM na dostępnym sprzęcie.

Kwestie bezpieczeństwa

Wbrew powszechnemu przekonaniu, biblioteka GGML (na której opiera się GGUF) miała udokumentowane podatności związane z „niewystarczającą walidacją pliku wejściowego”. Te wady mogą prowadzić do „potencjalnie możliwych do wykorzystania podatności na uszkodzenie pamięci podczas parsowania”. Zidentyfikowano konkretne problemy z bezpieczeństwem, w których niesprawdzane dane wejściowe od użytkownika mogły powodować przepełnienie bufora na stercie, potencjalnie umożliwiając atakującemu wykonanie złośliwego kodu.

Istnieje powszechne błędne przekonanie, że plik GGUF „nie może zawierać kodu” i jest „wyłącznie plikiem modelu”. Jednak raport bezpieczeństwa firmy Databricks wykazał, że chociaż sam plik GGUF nie zawiera wykonywalnego kodu Pythona, specjalnie spreparowany plik może wykorzystać wady w parserze (oprogramowaniu, które odczytuje plik), aby spowodować uszkodzenie pamięci i uzyskać wykonanie kodu.

Aby zmniejszyć te ryzyka, najlepiej jest:

• Używać modeli i narzędzi z dobrze znanych, renomowanych źródeł (takich jak Koboldcpp).
• Uruchamiać LLM w izolowanych środowiskach (takich jak kontenery Docker).
• W przypadku zadań o wysokim stopniu wrażliwości rozważyć użycie dedykowanego komputera bez dostępu do internetu.

Wady

Główną wadą GGUF jest to, że większość modeli jest najpierw rozwijana w innych frameworkach (takich jak PyTorch) i musi być konwertowana do formatu GGUF. Ten proces konwersji nie zawsze jest łatwy, a niektóre modele mogą nie być w pełni obsługiwane przez narzędzia kompatybilne z GGUF. Ponadto modyfikowanie lub dostrajanie modelu po przekonwertowaniu go do formatu GGUF jest generalnie „nieproste”.

Chociaż GGUF jest zaprojektowany z myślą o szybkim ładowaniu i efektywnym wykorzystaniu VRAM, rzeczywista prędkość wnioskowania (jak szybko model generuje odpowiedzi) może czasami być niższa niż w przypadku modeli nieskwantyzowanych. Może się to zdarzyć przy niższych poziomach kwantyzacji z powodu dodatkowej pracy potrzebnej do dekwantyzacji wag podczas wnioskowania. Główną korzyścią wydajnościową GGUF jest to, że umożliwia działanie dużych modeli na sprzęcie konsumenckim poprzez oszczędność VRAM, a niekoniecznie, że czyni je szybszymi.

Cechą charakterystyczną GGUF jest głęboka integracja z kwantyzacją, co pozwala na uruchamianie potężnych LLM na „sprzęcie konsumenckim” z ograniczoną ilością VRAM. Pomaga to w demokratyzacji dostępu do AI. Jednak ta wydajność wiąże się z kompromisami. Chociaż kwantyzacja zmniejsza rozmiar modeli, niższe poziomy mogą nieznacznie obniżyć ich jakość. Ponadto prędkość wnioskowania może czasami być niższa niż w przypadku modeli nieskwantyzowanych, zwłaszcza jeśli wersja nieskwantyzowana mieści się w całości w VRAM.

Korzyść z „szybkości” GGUF zazwyczaj odnosi się do szybszego ładowania i możliwości uruchomienia większego modelu na ograniczonym sprzęcie, a nie do surowej wydajności. GGUF doskonale oddaje trend „demokratyzacji AI”, czyniąc zaawansowane modele dostępnymi dla większej liczby osób. Wymaga to od użytkowników zrównoważenia jakości modelu z ograniczeniami ich sprzętu. Dostępność wielu poziomów kwantyzacji pozwala użytkownikom dostosować modele do swoich specyficznych potrzeb, co jest kluczem do popularności tego formatu w lokalnej społeczności AI.

4. Analiza porównawcza formatów

Wybór odpowiedniego formatu serializacji modelu jest decyzją strategiczną, która zależy od zrównoważenia różnych czynników, w tym bezpieczeństwa, wydajności, efektywności zasobów, interoperacyjności i specyficznego kontekstu zastosowania. Poniższa tabela przedstawia porównawczy przegląd formatów Safetensors, CKPT, ONNX i GGUF w tych kluczowych wymiarach.

Cecha / Format	Safetensors	CKPT (.pt/.pth)	ONNX	GGUF
Główny cel	Bezpieczne, szybkie przechowywanie tensorów dla modeli głębokiego uczenia	Checkpointy treningowe, parametry modelu, zachowanie stanu	Interoperacyjność między frameworkami, wdrażanie na różnorodnym sprzęcie	Wydajne przechowywanie LLM, zoptymalizowane lokalne wnioskowanie na sprzęcie konsumenckim
Profil bezpieczeństwa	Wysoki (brak możliwości wykonania dowolnego kodu z założenia)	Niski (możliwość wykonania dowolnego kodu poprzez deserializację Pickle)	Umiarkowany (brak możliwości wykonania dowolnego kodu, ale możliwe backdoory architektoniczne)	Umiarkowany (podatności biblioteki bazowej, ale sam plik nie jest wykonywalnym kodem Pythona)
Prędkość ładowania	Bardzo szybka (zero-copy, leniwe ładowanie)	Zmienna (może być wolniejsza niż Safetensors z powodu pełnego ładowania)	Szybka (zoptymalizowany runtime, optymalizacje grafu)	Szybka (mmap, wydajna dla LLM)
Zużycie pamięci	Wydajne (leniwe ładowanie, częściowe ładowanie)	Może być wysokie (ładuje cały graf obiektów)	Wydajne (optymalizacje runtime)	Bardzo wydajne (kwantyzacja, oszczędność VRAM)
Miejsce na dysku	Wydajne (kompresja, tylko tensory)	Zmienne (może być duże, zawiera pełny stan)	Wydajne (format Protobuf)	Bardzo wydajne (kwantyzacja, zaawansowana kompresja)
Wsparcie dla kwantyzacji	Tak, ale mniej elastyczne niż GGUF (zależne od PyTorch)	Tak (zależne od frameworka)	Ograniczone wsparcie natywne (rozkłada tensory)	Solidne (wiele poziomów, Q2-Q8, specjalizowane warianty)
Przenośność	Wysoka (między różnymi językami programowania)	Niska (ściśle powiązana z konkretnymi frameworkami)	Bardzo wysoka (między frameworkami, między platformami, różnorodny sprzęt)	Wysoka (szczególnie dla ekosystemu llama.cpp)
Główne zastosowania	Bezpieczne udostępnianie modeli, domyślny format w Hugging Face	Trening, dostrajanie, badania, zapisywanie modeli	Wdrożenia produkcyjne, mobilne/brzegowe, interoperacyjność	Lokalne wnioskowanie LLM, sprzęt konsumencki, aplikacje czatowe
Kluczowa zaleta	Bezpieczeństwo z założenia, szybkie ładowanie, niskie zużycie pamięci	Zachowanie stanu treningowego, szczegółowa odtwarzalność	Uniwersalne wdrażanie, optymalizacja runtime, niezależność od frameworka	Wydajność LLM na sprzęcie konsumenckim, elastyczna kwantyzacja
Kluczowa wada	Wymagany parser JSON dla metadanych w C++	Ryzyko wykonania dowolnego kodu, duże rozmiary plików	Złożoność dla niestandardowych warstw, ograniczone wsparcie dla natywnej kwantyzacji	Często wymagana konwersja, potencjalne spowolnienie wnioskowania przy niższych kwantyzacjach

5. Wnioski

Świat formatów modeli uczenia maszynowego stale ewoluuje, napędzany potrzebą lepszego bezpieczeństwa, wydajności i interoperacyjności. Tradycyjne formaty, takie jak pliki CKPT oparte na pickle, były elastyczne w badaniach, ale wprowadzały poważne ryzyko bezpieczeństwa, umożliwiając wykonanie dowolnego kodu. Doprowadziło to do rozwoju i przyjęcia nowszych, bezpieczniejszych formatów.

Safetensors jest wiodącym przykładem tej zmiany. Oddzielając dane od kodu i stosując wydajne techniki ładowania, oferuje bezpieczną i wysokowydajną alternatywę do udostępniania modeli głębokiego uczenia, zwłaszcza w ekosystemie Hugging Face. Jego podwójne korzyści w postaci bezpieczeństwa i szybkości uczyniły go popularnym wyborem w nowoczesnych procesach AI.

ONNX rozwiązuje główny problem niekompatybilności frameworków. Reprezentując modele jako abstrakcyjne grafy obliczeniowe, pozwala na ich wdrażanie na różnym sprzęcie i oprogramowaniu. Chociaż ONNX zapobiega wykonaniu dowolnego kodu, jak w przypadku pickle, ma swoje własne problemy z bezpieczeństwem, takie jak backdoory architektoniczne, które wymagają innych środków ochronnych.

GGUF to wyspecjalizowane rozwiązanie do uruchamiania dużych modeli językowych na sprzęcie konsumenckim. Jego potężne funkcje kwantyzacji drastycznie zmniejszają rozmiar modelu i zużycie pamięci, czyniąc potężne LLM dostępnymi dla większej liczby osób. Jednak ta wydajność może czasami skutkować wolniejszą prędkością wnioskowania, a jego biblioteki bazowe wykazały podatności, które wymagają od użytkowników ostrożności.

Ostatecznie, najlepszy format zależy od konkretnego kontekstu.

• Safetensors jest najlepszym wyborem do bezpiecznego i wydajnego udostępniania modeli głębokiego uczenia.
• ONNX jest idealny do wdrażania modeli w różnych frameworkach i na różnym sprzęcie.
• GGUF oferuje niezrównaną wydajność do uruchamiania dużych modeli językowych na lokalnych urządzeniach o ograniczonych zasobach.

Chociaż tradycyjne formaty CKPT są nadal przydatne do zapisywania postępów treningu w kontrolowanych środowiskach, są one zastępowane przez bezpieczniejsze alternatywy do publicznej dystrybucji. W miarę dojrzewania dziedziny AI, dalszy rozwój tych wyspecjalizowanych formatów będzie kluczowy dla zwiększania mocy i zasięgu uczenia maszynowego.