Safetensors, CKPT, ONNX, GGUF und andere wichtige KI-Modellformate [2025]

Das Wachstum der künstlichen Intelligenz und des maschinellen Lernens hat einen entscheidenden Bedarf an Methoden zur Speicherung und Verteilung von Modellen geschaffen, die effizient, sicher und mit verschiedenen Systemen kompatibel sind. Da Modelle immer komplexer werden und in immer vielfältigeren Umgebungen zum Einsatz kommen, ist die Wahl des Serialisierungsformats eine Schlüsselentscheidung. Diese Wahl beeinflusst die Leistung, den Ressourcenverbrauch und die Sicherheit von KI-Systemen.

Dieser Bericht untersucht führende Serialisierungsformate für Modelle, darunter Safetensors, CKPT, ONNX und GGUF. Er beleuchtet ihre einzigartigen Merkmale, häufigen Anwendungsfälle und wie sie sich im Vergleich zueinander schlagen.

1. Einführung in die Modellserialisierung in KI/ML

Die Modellserialisierung ist der Prozess, bei dem ein trainiertes Machine-Learning-Modell in einer Datei gespeichert wird. Diese Datei kann dann gespeichert, geteilt oder zur späteren Verwendung wieder geladen werden, beispielsweise um Vorhersagen zu treffen, das Training fortzusetzen oder Analysen durchzuführen. Diese Fähigkeit ist für den gesamten Lebenszyklus von KI/ML unerlässlich, von der Forschung und Entwicklung bis hin zur groß angelegten Bereitstellung.

Die entscheidende Rolle von Modellformaten im KI/ML-Lebenszyklus

Das Speichern von Modellen in einem Standardformat ist aus mehreren Gründen von entscheidender Bedeutung:

• Reproduzierbarkeit: Es ermöglicht die präzise Nachbildung und Validierung von Forschungsexperimenten.
• Zusammenarbeit: Standardformate erleichtern Teams den Austausch von Modellen, was die Zusammenarbeit und die Integration von Modellen in größere Systeme ermöglicht.
• Bereitstellung: Die Serialisierung wandelt ein trainiertes Modell in eine portable Datei um, die in verschiedenen Umgebungen, von Cloud-Servern bis zu Edge-Geräten, geladen und ausgeführt werden kann.
• Transfer-Lernen: Es ermöglicht die Nutzung vortrainierter Modelle als Grundlage für neue Aufgaben, was erheblich Trainingszeit und Daten spart.

Überblick über die Herausforderungen, die moderne Formate angehen

Mit dem Fortschritt des maschinellen Lernens haben sich moderne Serialisierungsformate weiterentwickelt, um mehrere zentrale Herausforderungen zu bewältigen:

• Sicherheit: Ein Hauptanliegen ist das Sicherheitsrisiko bei traditionellen Methoden, insbesondere bei solchen, die das pickle-Modul von Python verwenden. Diese Methoden können die Ausführung von bösartigem Code beim Laden eines Modells ermöglichen, was eine ernsthafte Sicherheitsbedrohung darstellt, wenn das Modell aus einer nicht vertrauenswürdigen Quelle stammt.
• Leistung: Die heutigen großen und komplexen Modelle erfordern sehr schnelle Ladezeiten und ein effizientes Speichermanagement. Dies ist besonders wichtig für Geräte mit begrenzten Ressourcen wie Mobiltelefone und für Anwendungen, die sofortige Reaktionen benötigen.
• Portabilität und Interoperabilität: In der Welt des maschinellen Lernens werden viele verschiedene Frameworks (wie PyTorch, TensorFlow und JAX) verwendet. Es werden Formate benötigt, die einen einfachen Wechsel von Modellen zwischen diesen Frameworks und die Ausführung auf unterschiedlicher Hardware (GPUs, TPUs) ohne größere Umstrukturierungen ermöglichen.

In den letzten Jahren hat sich die KI-Community verstärkt sichereren und effizienteren Formaten wie GGUF und Safetensors zugewandt, was eine gemeinsame Anstrengung zur Bewältigung dieser Probleme widerspiegelt.

Frühe Methoden zum Speichern von ML-Modellen, wie die Verwendung des pickle-Moduls von Python für seine .pt- und .pth-Dateien durch PyTorch, wurden wegen ihrer einfachen Handhabung gewählt. Sie konnten komplexe Python-Objekte, einschließlich des Modelldesigns und des Trainingszustands (wie des Optimierers), problemlos speichern. Obwohl dies für die Forschung in einer Python-Umgebung praktisch war, schuf es eine große Sicherheitslücke. Das pickle-Modul ist so konzipiert, dass es beim Laden einer Datei beliebigen in der Datei eingebetteten Code ausführen kann. Das bedeutet, dass das Laden eines scheinbar harmlosen Modells aus einer nicht vertrauenswürdigen Quelle ein ganzes System kompromittieren könnte.

Die Entwicklung von Formaten wie Safetensors sowie die zunehmende Nutzung von ONNX und GGUF sind eine direkte Reaktion auf dieses Sicherheitsrisiko sowie auf den Bedarf an besserer Leistung und Portabilität. Safetensors wurde beispielsweise speziell entwickelt, um die Ausführung von bösartigem Code zu verhindern. Dies zeigt, dass mit der zunehmenden Reife des maschinellen Lernens und dem Übergang von KI aus der Forschung in die Praxis Sicherheit und Effizienz nicht länger Nebensächlichkeiten, sondern Kernprinzipien bei der Gestaltung neuer Formate sind. Diese Veränderung stellt einen notwendigen Wandel von forschungsorientierter Flexibilität zu produktionsreifer Sicherheit und Robustheit dar und behebt die „technischen Schulden“ älterer, freizügigerer Methoden.

Framework-native Formate wie .pt/.pth für PyTorch und .ckpt/.h5 für TensorFlow/Keras sind eng in ihre jeweiligen Frameworks integriert. Dies macht sie zwar innerhalb eines einzelnen Ökosystems effizient, verursacht aber erhebliche Interoperabilitätsprobleme. Ein in einem Framework trainiertes Modell kann nicht ohne komplexe Konvertierungen oder die Pflege separater Systeme für jedes Framework einfach in einem anderen verwendet werden. Dies führt zu getrennten Entwicklungs- und Bereitstellungs-Workflows.

Das Format Open Neural Network Exchange (ONNX) wurde geschaffen, um diese Barrieren zu überwinden. Es bietet einen „plattformübergreifenden“ und „herstellerneutralen“ Standard für Modelle. Dies erreicht es, indem es die Struktur des Modells (seinen Berechnungsgraphen) abstrakt definiert, unabhängig von einem einzelnen Framework. Ähnlich konzentriert sich auch GGUF, obwohl ursprünglich für das Projekt llama.cpp entwickelt, auf die Verbesserung der Kompatibilität für große Sprachmodelle (LLMs) über verschiedene Plattformen hinweg.

Die heutige Vielfalt an Formaten spiegelt eine zentrale Spannung in der ML-Branche wider: den Wunsch nach Framework-spezifischen Funktionen während der Entwicklung (z. B. der dynamische Graph von PyTorch für Forschungsflexibilität) gegenüber dem Bedarf an universeller, effizienter und sicherer Bereitstellung. Diese Spannung bedeutet, dass weiterhin mehrere Formate existieren werden, was Konvertierungswerkzeuge und fortschrittliche MLOps-Pipelines immer wichtiger macht, um die Modellentwicklung mit der Bereitstellung zu verbinden. Verschiedene Formate werden je nach ihren einzigartigen Stärken weiterhin für bestimmte Phasen des ML-Lebenszyklus verwendet.

2. Safetensors verstehen

Safetensors ist ein bedeutender Fortschritt in der Modellserialisierung, der speziell entwickelt wurde, um die Sicherheits- und Effizienzprobleme traditioneller Modellspeichermethoden zu beheben.

Definition und zentrale Designprinzipien

Safetensors ist ein modernes, sicheres und schnelles Serialisierungsformat für Deep-Learning-Modelle, das von Hugging Face entwickelt wurde. Sein Hauptziel ist es, eine sichere Möglichkeit zur Speicherung und Weitergabe von Tensoren – den mehrdimensionalen Arrays, die die grundlegenden Datenbausteine des maschinellen Lernens sind – zu bieten. Das Format ist so konzipiert, dass es sicherer und schneller als ältere Formate wie pickle ist.

Ein zentrales Prinzip von Safetensors ist die strikte Trennung von Modellgewichten (Tensoren) und jeglichem ausführbaren Code. Dieses Design behebt direkt die Sicherheitslücken älterer Serialisierungsmethoden.

Hauptmerkmale

• Zero-Copy und Lazy Loading: Ein Schlüssel zur Leistung von Safetensors ist seine „Zero-Copy“-Fähigkeit. Dadurch können Modelldaten direkt von der Festplatte in den Speicher gemappt werden, ohne zusätzliche Kopien zu erstellen, was Speicher spart und das Laden beschleunigt. Es unterstützt auch „Lazy Loading“, was bedeutet, dass nur die notwendigen Teile eines großen Modells bei Bedarf in den RAM geladen werden. Dies ist sehr nützlich für extrem große Modelle oder Systeme mit begrenztem Speicher.
• Strukturierte Metadatenverarbeitung: Jede Safetensors-Datei enthält einen separaten Metadatenabschnitt im JSON-Format. Dieser Abschnitt listet alle Tensoren im Modell mit Details wie ihrer Form, ihrem Datentyp und ihrem Namen auf. Die Metadaten verweisen auf den Speicherort der eigentlichen Tensordaten in der Datei, was sowohl die Lesbarkeit als auch die Sicherheit verbessert.
• Reine Tensordaten-Speicherung: Das wichtigste Sicherheitsmerkmal von Safetensors ist, dass es so konzipiert ist, dass es „nur rohe Tensordaten und zugehörige Metadaten“ enthält. Durch seine Architektur „erlaubt es nicht die Serialisierung von beliebigem Python-Code“. Diese grundlegende Designentscheidung eliminiert das Risiko, beim Laden eines Modells bösartigen Code auszuführen.
• Quantisierungsunterstützung: Safetensors kann quantisierte Tensoren verarbeiten, was hilft, Modelle kleiner zu machen und weniger Speicher zu verbrauchen. Seine Quantisierungsunterstützung ist jedoch „nicht so flexibel wie die von GGUF“, da sie von den Funktionen des PyTorch-Frameworks abhängt.

Hauptvorteile

• Erhöhte Sicherheit (Verhinderung der Ausführung von beliebigem Code): Dies ist der größte Vorteil von Safetensors. Durch sein Design wird vollständig verhindert, dass Python-Code in der Datei gespeichert wird. Dies beseitigt das schwerwiegendste Sicherheitsrisiko, das in pickle-basierten Formaten besteht: die Ausführung von bösartigem Code beim Laden eines Modells. Dies macht Safetensors zur besten Wahl für die gemeinsame Nutzung und Verwendung von Modellen aus öffentlichen oder nicht vertrauenswürdigen Quellen. Das Format enthält auch weitere Sicherheitsfunktionen wie „fortschrittliche Verschlüsselungstechniken“ und Zugriffskontrollen, um Datenmanipulation zu verhindern.
• Leistungsoptimierung: Die Verwendung von Zero-Copy und Lazy Loading führt zu „schnelleren Ladezeiten und geringerem Speicherverbrauch“. Benchmarks zeigen, dass es wesentlich „schneller“ als pickle ist und „76,6-mal schneller auf der CPU und 2-mal schneller auf der GPU im Vergleich zur traditionellen PyTorch“-Speichermethode sein kann.
• Portabilität: Das Format ist portabel konzipiert, was bedeutet, dass es über verschiedene Programmiersprachen hinweg funktioniert. Dies erleichtert die gemeinsame Nutzung und Verwendung von Modellen in verschiedenen Softwaresystemen.
• Nahtlose Integration: Safetensors bietet eine „nahtlose Integration mit bestehenden Machine-Learning-Frameworks und -Bibliotheken“. Dies ermöglicht Entwicklern, dieses sicherere Format einfach zu übernehmen, ohne größere Änderungen an ihren aktuellen Arbeitsabläufen vornehmen zu müssen.

Vergleich mit traditioneller Serialisierung (z. B. Pickle)

Das pickle-Modul von Python, das für die .pt- und .pth-Dateien von PyTorch verwendet wird, ist von Natur aus unsicher. Es ermöglicht, dass beliebiger Code in einer serialisierten Datei versteckt und beim Laden der Datei automatisch ausgeführt wird. Dies ist eine bekannte und schwerwiegende Sicherheitslücke, insbesondere bei der Verwendung von Modellen, die von öffentlichen Websites heruntergeladen wurden. Obwohl Tools wie picklescan einige bösartige Muster erkennen können, sind sie nicht narrensicher und können keine Sicherheit garantieren.

Safetensors wurde speziell entwickelt, um dieses Sicherheitsproblem zu lösen. Indem es nur rohe Tensordaten und strukturierte Metadaten in der Datei zulässt, beseitigt es die Möglichkeit der Ausführung von bösartigem Code. Über die Sicherheit hinaus bietet Safetensors auch eine deutlich bessere Leistung. Sein Design für Memory Mapping und Lazy Loading führt zu deutlich schnellerem Laden und effizienterer Speichernutzung im Vergleich zu pickle, das typischerweise das gesamte Modell auf einmal in den Speicher lädt.

Die Sicherheitslücke in Pythons pickle bedeutet, dass das Herunterladen einer .pt- oder .pth-Datei aus einer nicht vertrauenswürdigen Quelle nicht nur das Herunterladen von Daten ist; es ist, als würde man ein potenziell schädliches Programm ausführen. Es ist bekannt, dass es „keine 100 % narrensichere Lösung gibt, um die Sicherheit einer pickle-Datei ohne Ausführung zu überprüfen“. Dies legt die Last der Überprüfung der Dateisicherheit auf den Benutzer, was schwierig und unzuverlässig ist.

Safetensors ändert diese Dynamik, indem es das Format selbst neu gestaltet, um von vornherein das Einschleusen von schädlichem Code zu verhindern. Es verlagert die Sicherheitsverantwortung von der schwierigen Überprüfung durch den Benutzer auf die eingebaute Sicherheit des Formats. Dies markiert einen wichtigen Wandel in der Open-Source-KI-Community von einem „Überprüfen, dann Vertrauen“-Ansatz zu einem „Vertrauen durch Design“-Modell. Diese Änderung erkennt an, dass es nahezu unmöglich ist, komplexe Dateien auf jede mögliche Bedrohung zu scannen. Indem Safetensors den Angriffsvektor (Ausführung von beliebigem Code) blockiert, macht es die weitreichende gemeinsame Nutzung von Modellen sicherer, fördert die Zusammenarbeit und erleichtert mehr Menschen die Nutzung vortrainierter Modelle. Dieses „Vertrauen durch Design“-Prinzip ist für das Wachstum und die Sicherheit des gesamten KI-Ökosystems unerlässlich.

Obwohl Safetensors hauptsächlich aus Sicherheitsgründen entwickelt wurde (um die Schwachstellen von pickle zu beheben), bietet es auch erhebliche Leistungssteigerungen wie schnelleres Laden, geringeren Speicherverbrauch und Zero-Copy-Operationen. Diese Leistungsgewinne sind nicht nur ein Nebeneffekt; sie sind ein direktes Ergebnis des optimierten Designs von Safetensors, das Memory Mapping und Lazy Loading zur effizienten Datenverarbeitung nutzt. Dadurch ist es von Natur aus effizienter für große Modelle.

Diese Kombination aus erhöhter Sicherheit und erheblichen Leistungsverbesserungen war ein entscheidender Motor für seine weite Verbreitung. Hätte Safetensors nur bessere Sicherheit geboten, wäre seine Akzeptanz möglicherweise langsamer verlaufen, insbesondere bei Nutzern, die nicht unmittelbar auf Sicherheit fokussiert sind. Die klaren und messbaren Leistungsvorteile bieten jedoch einen starken Anreiz für alle zum Wechsel, was seine Integration in große Plattformen wie Hugging Face beschleunigt. Dies zeigt, dass in der KI-Entwicklung eine Technologie oft sowohl Sicherheits- als auch Leistungsvorteile bieten muss, um von der Branche schnell und breit akzeptiert zu werden.

3. Überblick über wichtige Modellformate

Neben Safetensors sind mehrere andere Formate in der Welt des maschinellen Lernens wichtig, jedes mit seinen eigenen Merkmalen und Anwendungsfällen.

3.1. CKPT (Checkpoints)

Ein KI-Checkpoint ist kein einzelner Dateityp, sondern eine Momentaufnahme des Zustands eines Modells, die zu einem bestimmten Zeitpunkt während des Trainings gespeichert wird. Checkpoints sind unerlässlich, um den Fortschritt bei langen Trainingsjobs zu sichern.

Eigenschaften und typische Anwendungsfälle

Ein Checkpoint enthält typischerweise die gelernten Parameter eines Modells, wie seine Gewichte und Bias-Werte. Er kann auch andere wichtige Informationen speichern, die zur Wiederaufnahme des Trainings benötigt werden, wie den Zustand des Optimierers, die aktuelle Epochennummer und den Lernratenplan. Die Dateiendungen für Checkpoints variieren je nach Framework. Für PyTorch sind es üblicherweise .pt oder .pth, während es für TensorFlow/Keras .ckpt oder .h5 sind.

Zu den Hauptvorteilen von CKPT-Dateien gehören:

• Reproduzierbarkeit: Sie stellen sicher, dass sich ein Modell beim erneuten Laden konsistent verhält, was für die Validierung von Forschungsergebnissen und die Aufrechterhaltung einer zuverlässigen Leistung unerlässlich ist.
• Zusammenarbeit: Sie sind leicht zu teilen, was es Entwicklern ermöglicht, Ergebnisse zu replizieren oder auf bestehender Arbeit aufzubauen.
• Flexibilität: Die .pt/.pth-Formate von PyTorch sind besonders flexibel, was das Speichern und Laden von Modellen für Forschungszwecke vereinfacht.

Typische Anwendungsfälle für CKPT-Dateien sind:

• Wiederaufnahme des Trainings: Fortsetzung einer unterbrochenen Trainingssitzung, was erheblich Zeit und Rechenressourcen spart.
• Feinabstimmung: Verwendung eines vortrainierten Modells als Ausgangspunkt für das Training auf einem neuen, spezifischeren Datensatz.
• Modellbewertung: Testen der Leistung eines Modells in verschiedenen Trainingsstadien, ohne es neu trainieren zu müssen.
• Inferenz: Laden eines vollständig trainierten Modells in ein Produktionssystem, um Vorhersagen zu treffen.
• Forschung und Experimente: Analyse der Entwicklung eines Modells im Laufe der Zeit und systematische Anpassung seiner Parameter.
• Transfer-Lernen: Dienen als leistungsstarker Ausgangspunkt für verwandte Aufgaben, was die Trainingszeit und den Datenbedarf reduziert.
• Notfallwiederherstellung: Dienen als Backup, um die Arbeit nach einem Ausfall während eines langen Trainingsprozesses wieder aufzunehmen.

Sicherheitsüberlegungen

Das größte Sicherheitsrisiko bei CKPT-Dateien, insbesondere bei den .pt- und .pth-Formaten von PyTorch, ergibt sich aus ihrer Abhängigkeit vom pickle-Modul von Python. Das bedeutet, dass diese Dateien so gestaltet werden können, dass sie beim Laden bösartigen Python-Code enthalten und ausführen (wenn die Funktion torch.load ohne die Einstellung weights_only=True verwendet wird). Diese Schwachstelle (CWE-502: Deserialisierung nicht vertrauenswürdiger Daten) kann schwerwiegende Folgen haben, wie Datendiebstahl, verändertes Modellverhalten oder sogar eine vollständige Systemübernahme.

Die Branche hat dieses Risiko erkannt, und Safetensors hat sich als sicherere Option etabliert. Wie bereits erwähnt, werden „die meisten Stable-Diffusion-KI-Checkpoints in Formaten wie .ckpt oder .safetensors gespeichert... .safetensors ist eine sicherere Alternative, die entwickelt wurde, um die Ausführung von bösartigem Code zu verhindern“. Dies zeigt einen klaren Trend zu sichereren Formaten für die gemeinsame Nutzung von Modellen.

CKPTs, insbesondere im .pt/.pth-Format von PyTorch, sind dafür bekannt, „hochflexibel“ zu sein. Diese Flexibilität ermöglicht es ihnen, nicht nur Modellgewichte, sondern auch den Zustand des Optimierers und sogar benutzerdefinierte Python-Klassen zu speichern, was sehr nützlich ist, um das Training präzise fortzusetzen.

Genau diese Flexibilität schafft jedoch die Sicherheitslücke. Da das Format jedes Python-Objekt speichern kann, kann ein Angreifer bösartigen Code in einer Modelldatei verstecken. Wenn die Datei ohne entsprechende Vorkehrungen geladen wird, wird dieser Code ausgeführt. Dies verdeutlicht einen fundamentalen Kompromiss im Systemdesign: Mehr Flexibilität führt oft zu einer größeren Angriffsfläche und höheren Sicherheitsrisiken.

Die Lösung der Branche besteht darin, Formate wie Safetensors für die Verteilung von Modellen zu übernehmen, auch wenn die flexibleren .pt/.pth-Formate weiterhin für das Training in kontrollierten Umgebungen verwendet werden. Dies zeigt ein wachsendes Verständnis dafür, dass verschiedene Phasen des ML-Lebenszyklus unterschiedliche Sicherheitsniveaus erfordern. Die Möglichkeit, den vollständigen Trainingszustand zu speichern, sollte am besten innerhalb einer vertrauenswürdigen Entwicklungsumgebung bleiben, während das Teilen und die Bereitstellung Formate mit integrierten Sicherheitsgarantien erfordern.

3.2. ONNX (Open Neural Network Exchange)

ONNX, was für Open Neural Network Exchange steht, ist ein offenes Standardformat für Machine-Learning-Modelle. Es wurde entwickelt, um die Interoperabilität von Modellen zwischen verschiedenen Deep-Learning-Frameworks zu ermöglichen.

Eigenschaften und primäre Anwendungsfälle

Eine ONNX-Datei enthält die vollständige Struktur eines Modells, einschließlich seiner Abfolge von Operationen (dem Berechnungsgraphen), seiner gelernten Gewichte und anderer Metadaten. Eine große Stärke von ONNX ist, dass es als universeller Übersetzer fungiert. Modelle, die in Frameworks wie PyTorch, TensorFlow oder scikit-learn trainiert wurden, können in das ONNX-Format konvertiert werden, was einen „einmal trainieren, überall bereitstellen“-Ansatz ermöglicht.

Im Gegensatz zu Formaten, die nur Modellgewichte speichern (wie Safetensors oder GGUF), enthält ONNX den Berechnungsgraphen des Modells. Diese graphbasierte Struktur bietet „mehr Flexibilität bei der Konvertierung von Modellen zwischen verschiedenen Frameworks“. ONNX bietet eine ausgezeichnete Portabilität über viele Plattformen, Geräte und Hardwarebeschleuniger (CPUs, GPUs, KI-Chips) hinweg. Die Modelle werden im Protobuf-Format gespeichert, einer effizienten, plattformneutralen Methode zur Speicherung strukturierter Daten.

Primäre Anwendungsfälle für ONNX sind:

• Framework-übergreifende Bereitstellung: Ausführung eines Modells in einem anderen Framework oder einer anderen Umgebung als der, in der es trainiert wurde.
• Hochleistungs-Inferenz: Die ONNX Runtime ist eine Inferenz-Engine, die Modelle automatisch für spezifische Hardware optimiert, was oft zu einer schnelleren Leistung führt.
• Edge- und mobile Bereitstellung: Sein geringer Speicherbedarf und die optimierte Laufzeit machen ONNX zu einer guten Wahl für die Ausführung von Modellen auf ressourcenbeschränkten Geräten.
• Produktionssysteme: Seine Robustheit und Portabilität machen es beliebt für die Bereitstellung von Modellen in anspruchsvollen Produktionsumgebungen.

Sicherheitsüberlegungen

Ein subtiles, aber ernstes Sicherheitsrisiko bei ONNX-Modellen ist das Potenzial für architektonische Hintertüren. Ein Angreifer könnte den Berechnungsgraphen eines Modells so modifizieren, dass er einen versteckten Pfad enthält, der nur durch spezifische Eingaben ausgelöst wird. Bei Aktivierung könnte diese Hintertür dazu führen, dass das Modell bösartige oder unerwartete Ausgaben erzeugt, während es sich bei Standardeingaben normal verhält, was die Erkennung erschwert. Weitere Risiken sind Modellinversionsangriffe (Extrahieren sensibler Trainingsdaten) und Adversarial Attacks (Verwendung bösartiger Eingaben, um das Modell zu täuschen).

Um diese Bedrohungen zu reduzieren, werden mehrere Praktiken empfohlen:

• Digitale Signatur von ONNX-Modellen, um sicherzustellen, dass sie nicht manipuliert wurden.
• Bereitstellung von Modellen in isolierten Umgebungen wie Docker-Containern mit starker Netzwerksicherheit.
• Verwendung von Überwachungstools, um das Modellverhalten zu verfolgen und Anomalien zu erkennen.
• Befolgen allgemeiner bewährter Sicherheitspraktiken wie der Bereinigung von Eingaben und der Aktualisierung von Software.

ONNX ist im Allgemeinen sicherer als pickle-basierte Formate, da es beim Laden keinen beliebigen Code ausführt. Wenn ein ONNX-Modell jedoch extern implementierte benutzerdefinierte Schichten verwendet, könnten diese Schichten potenziell bösartigen Python-Code enthalten, wenn sie nicht sorgfältig verwaltet werden.

Nachteile

Obwohl ONNX quantisierte Modelle unterstützt, „unterstützt es quantisierte Tensoren nicht nativ“ so nahtlos wie GGUF. Es zerlegt sie in separate Ganzzahl- und Skalierungsfaktor-Tensoren, was „zu einer verringerten Qualität führen kann“. Die Konvertierung von Modellen mit komplexen oder benutzerdefinierten Schichten, die in ONNX nicht standardmäßig vorhanden sind, kann ebenfalls schwierig sein und erfordert möglicherweise benutzerdefinierte Arbeit, die die Leistung verlangsamen könnte.

Traditionelle Formate, die auf Pythons pickle basieren (wie .pt-Dateien), speichern Python-Objekte, die ausführbaren Code enthalten können. Dies behandelt das Modell als Programm. Im Gegensatz dazu konzentriert sich ONNX auf die Speicherung des „Berechnungsgraphen“ des Modells – eine abstraktere Darstellung seiner Operationen und seines Datenflusses anstelle einer spezifischen Code-Implementierung.

Dieser graph-zentrierte Ansatz verleiht ONNX seine ausgezeichnete framework-übergreifende Portabilität und ermöglicht die Optimierung für unterschiedliche Hardware. Indem die Logik des Modells auf einer höheren Ebene definiert wird, wird es unabhängig von dem Framework, in dem es trainiert wurde. Dies ist ein bedeutender konzeptioneller Wandel, der von einer framework-spezifischen Implementierung zu einer portablen Rechenrepräsentation führt. Während dies die Flexibilität bei der Bereitstellung erheblich verbessert, schafft es auch neue Sicherheitsbedenken wie architektonische Hintertüren, die andere Sicherheitsstrategien erfordern als bei pickle-basierten Formaten.

3.3. GGUF (GPT-Generated Unified Format)

GGUF (GPT-Generated Unified Format) ist ein Dateiformat, das speziell für die effiziente Speicherung und Ausführung großer Sprachmodelle (LLMs) entwickelt wurde. Es ist eine verbesserte Version seines Vorgängers, GGML, und zielt darauf ab, die Nutzung von LLMs zu vereinfachen, insbesondere auf PCs.

Eigenschaften und primäre Anwendungsfälle

GGUF wurde entwickelt, um LLMs kleiner zu machen und das Laden erheblich zu beschleunigen. Dies ist entscheidend für die lokale Ausführung von Modellen, bei denen Speicherplatz und RAM oft begrenzt sind. Das Format verwendet „fortschrittliche Kompressionstechniken“, um dies zu erreichen. Es bietet auch eine standardisierte Methode, um die Gewichte, die Architektur und die Metadaten eines Modells zu verpacken, was eine konsistente Funktionsweise über verschiedene Software hinweg gewährleistet, insbesondere mit Inferenz-Engines, die auf llama.cpp basieren.

Ein Hauptmerkmal von GGUF ist seine hervorragende Unterstützung für die Quantisierung. Die Quantisierung reduziert die numerische Präzision der Gewichte eines Modells (z. B. von 16-Bit- auf 4-Bit-Zahlen), was die Dateigröße und den für die Ausführung erforderlichen Rechenaufwand drastisch senkt. GGUF-Modelle sind in verschiedenen Quantisierungsstufen (von Q2 bis Q8) erhältlich und bieten eine Reihe von Kompromissen zwischen Größe und Qualität.

• Niedrigere Quantisierungsstufen (wie Q2 oder Q3) führen zu sehr kleinen Dateien, die auf Hardware mit weniger RAM ausgeführt werden können, aber möglicherweise einen leichten Qualitätsverlust aufweisen.
• Höhere Quantisierungsstufen (wie Q6 oder Q8) erhalten eine bessere Qualität, erfordern aber mehr Speicherplatz und RAM.

Primäre Anwendungsfälle für GGUF sind:

• Lokale LLM-Bereitstellung: Tools wie Ollama verwenden GGUF, um es Benutzern zu erleichtern, leistungsstarke LLMs auf ihren eigenen Computern auszuführen.
• Offline-KI-Assistenten: Viele Anwendungen verwenden GGUF-Modelle, um lokale, private Alternativen zu cloudbasierten KI-Tools bereitzustellen.
• Code-Unterstützung: IDEs und Code-Editoren beginnen, GGUF-Modelle für intelligente Code-Vervollständigung zu verwenden.
• Lokale Chatbots: GGUF-Modelle werden oft für private und reaktionsschnelle Konversations-KI-Systeme verwendet.
• KI-Forschung: Seine Flexibilität und Quantisierungsunterstützung machen es bei Forschern beliebt, um mit LLMs auf zugänglicher Hardware zu experimentieren.

Sicherheitsüberlegungen

Entgegen der landläufigen Meinung hatte die zugrunde liegende GGML-Bibliothek (auf der GGUF basiert) dokumentierte Schwachstellen im Zusammenhang mit „unzureichender Validierung der Eingabedatei“. Diese Fehler können zu „potenziell ausnutzbaren Speicherkorruptionsschwachstellen während des Parsens“ führen. Es wurden spezifische Sicherheitsprobleme identifiziert, bei denen ungeprüfte Benutzereingaben Heap-Überläufe verursachen könnten, was einem Angreifer potenziell die Ausführung von bösartigem Code ermöglichen könnte.

Es gibt ein weit verbreitetes Missverständnis, dass eine GGUF-Datei „keinen Code enthalten kann“ und „ausschließlich eine Modelldatei“ ist. Ein Sicherheitsbericht von Databricks zeigte jedoch, dass, obwohl die GGUF-Datei selbst keinen ausführbaren Python-Code enthält, eine speziell gestaltete Datei Fehler im Parser (der Software, die die Datei liest) ausnutzen kann, um Speicherkorruption zu verursachen und eine Codeausführung zu erreichen.

Um diese Risiken zu reduzieren, ist es am besten:

• Modelle und Werkzeuge aus bekannten, seriösen Quellen (wie Koboldcpp) zu verwenden.
• LLMs in isolierten Umgebungen (wie Docker-Containern) auszuführen.
• Für hochsensible Aufgaben die Verwendung eines dedizierten Rechners ohne Internetzugang in Betracht zu ziehen.

Nachteile

Ein großer Nachteil von GGUF ist, dass die meisten Modelle zunächst in anderen Frameworks (wie PyTorch) entwickelt und dann in das GGUF-Format konvertiert werden müssen. Dieser Konvertierungsprozess ist nicht immer einfach, und einige Modelle werden möglicherweise nicht vollständig von GGUF-kompatiblen Werkzeugen unterstützt. Darüber hinaus ist die Modifizierung oder Feinabstimmung eines Modells, nachdem es sich im GGUF-Format befindet, im Allgemeinen „nicht einfach“.

Obwohl GGUF für schnelles Laden und effiziente VRAM-Nutzung konzipiert ist, kann die tatsächliche Inferenzgeschwindigkeit (wie schnell das Modell Antworten generiert) manchmal langsamer sein als bei nicht quantisierten Modellen. Dies kann bei niedrigeren Quantisierungsstufen auftreten, aufgrund des zusätzlichen Aufwands, der zur Dequantisierung der Gewichte während der Inferenz erforderlich ist. Der Hauptleistungsvorteil von GGUF besteht darin, dass es großen Modellen ermöglicht, auf Consumer-Hardware zu laufen, indem es VRAM spart, nicht dass es sie notwendigerweise schneller macht.

Das entscheidende Merkmal von GGUF ist seine tiefe Integration mit der Quantisierung, die es ermöglicht, leistungsstarke LLMs auf „Consumer-Hardware“ mit begrenztem VRAM auszuführen. Dies trägt zur Demokratisierung des Zugangs zu KI bei. Diese Effizienz bringt jedoch Kompromisse mit sich. Während die Quantisierung Modelle kleiner macht, können niedrigere Stufen die Modellqualität leicht reduzieren. Auch kann die Inferenzgeschwindigkeit manchmal langsamer sein als bei unquantisierten Modellen, insbesondere wenn die unquantisierte Version vollständig in den VRAM passt.

Der „Geschwindigkeits“-Vorteil von GGUF bezieht sich normalerweise auf schnelleres Laden und die Fähigkeit, ein größeres Modell auf begrenzter Hardware auszuführen, anstatt auf rohe Leistung. GGUF fängt den Trend der „Demokratisierung der KI“ perfekt ein, indem es fortschrittliche Modelle für mehr Menschen zugänglich macht. Dies erfordert von den Nutzern, die Modellqualität mit den Einschränkungen ihrer Hardware in Einklang zu bringen. Die Verfügbarkeit mehrerer Quantisierungsstufen ermöglicht es den Nutzern, Modelle an ihre spezifischen Bedürfnisse anzupassen, was für die Popularität des Formats in der lokalen KI-Community entscheidend ist.

4. Vergleichende Analyse der Formate

Die Auswahl eines geeigneten Modellserialisierungsformats ist eine strategische Entscheidung, die von der Abwägung verschiedener Faktoren abhängt, darunter Sicherheit, Leistung, Ressourceneffizienz, Interoperabilität und der spezifische Anwendungskontext. Die folgende Tabelle bietet einen vergleichenden Überblick über Safetensors, CKPT, ONNX und GGUF über diese kritischen Dimensionen hinweg.

Merkmal / Format	Safetensors	CKPT (.pt/.pth)	ONNX	GGUF
Hauptzweck	Sichere, schnelle Speicherung von Tensoren für Deep-Learning-Modelle	Trainings-Checkpoints, Modellparameter, Zustandserhaltung	Framework-übergreifende Interoperabilität, Bereitstellung auf diverser Hardware	Effiziente LLM-Speicherung, optimierte lokale Inferenz auf Consumer-Hardware
Sicherheitsprofil	Hoch (keine Ausführung von beliebigem Code durch Design)	Niedrig (Ausführung von beliebigem Code über Pickle-Deserialisierung)	Moderat (keine Ausführung von beliebigem Code, aber architektonische Hintertüren möglich)	Moderat (Schwachstellen in der zugrunde liegenden Bibliothek, aber Datei selbst kein ausführbarer Python-Code)
Ladegeschwindigkeit	Sehr schnell (Zero-Copy, Lazy Loading)	Variiert (kann langsamer als Safetensors sein durch vollständiges Laden)	Schnell (optimierte Laufzeit, Graph-Optimierungen)	Schnell (mmap, effizient für LLMs)
Speicherverbrauch	Effizient (Lazy Loading, teilweises Laden)	Kann hoch sein (lädt gesamten Objektgraphen)	Effizient (Laufzeitoptimierungen)	Sehr effizient (Quantisierung, VRAM-Einsparung)
Speicherplatz	Effizient (Kompression, nur Tensoren)	Variiert (kann groß sein, enthält vollständigen Zustand)	Effizient (Protobuf-Format)	Sehr effizient (Quantisierung, fortschrittliche Kompression)
Quantisierungsunterstützung	Ja, aber weniger flexibel als GGUF (PyTorch-abhängig)	Ja (Framework-abhängig)	Begrenzte native Unterstützung (zerlegt Tensoren)	Robust (mehrere Stufen, Q2-Q8, spezialisierte Varianten)
Portabilität	Hoch (über verschiedene Programmiersprachen hinweg)	Niedrig (eng an spezifische Frameworks gekoppelt)	Sehr hoch (framework-übergreifend, plattformübergreifend, diverse Hardware)	Hoch (insbesondere für das llama.cpp-Ökosystem)
Hauptanwendungen	Sicheres Teilen von Modellen, Standard bei Hugging Face	Training, Feinabstimmung, Forschung, Modellspeicherung	Produktionsbereitstellung, Mobile/Edge, Interoperabilität	Lokale LLM-Inferenz, Consumer-Hardware, Chat-Anwendungen
Hauptvorteil	Sicherheit durch Design, schnelles Laden, geringer Speicherbedarf	Erhaltung des Trainingszustands, detaillierte Reproduzierbarkeit	Universelle Bereitstellung, Laufzeitoptimierung, Framework-Unabhängigkeit	LLM-Effizienz auf Consumer-Hardware, flexible Quantisierung
Hauptnachteil	JSON-Parser für Metadaten in C++ erforderlich	Risiko der Ausführung von beliebigem Code, große Dateigrößen	Komplexität bei benutzerdefinierten Schichten, begrenzte native Quantisierung	Konvertierung oft erforderlich, potenzielle Verlangsamung der Inferenz bei niedrigeren Quantisierungsstufen

5. Fazit

Die Welt der Modellformate für maschinelles Lernen entwickelt sich ständig weiter, angetrieben von der Notwendigkeit besserer Sicherheit, Leistung und Interoperabilität. Traditionelle Formate wie pickle-basierte CKPT-Dateien waren flexibel für die Forschung, führten aber durch die Möglichkeit der Ausführung von beliebigem Code ernsthafte Sicherheitsrisiken ein. Dies hat zur Entwicklung und Einführung neuerer, sichererer Formate geführt.

Safetensors ist ein führendes Beispiel für diesen Wandel. Durch die Trennung von Daten und Code und die Verwendung effizienter Ladetechniken bietet es eine sichere und leistungsstarke Alternative für die gemeinsame Nutzung von Deep-Learning-Modellen, insbesondere im Hugging-Face-Ökosystem. Seine doppelten Vorteile von Sicherheit und Geschwindigkeit haben es zu einer beliebten Wahl in modernen KI-Workflows gemacht.

ONNX löst das Hauptproblem der Framework-Inkompatibilität. Indem es Modelle als abstrakte Berechnungsgraphen darstellt, ermöglicht es ihre Bereitstellung auf unterschiedlicher Hardware und Software. Obwohl ONNX die Ausführung von beliebigem Code wie bei pickle verhindert, hat es eigene Sicherheitsbedenken, wie architektonische Hintertüren, die andere Schutzmaßnahmen erfordern.

GGUF ist eine spezialisierte Lösung für die Ausführung großer Sprachmodelle auf Consumer-Hardware. Seine leistungsstarken Quantisierungsfunktionen reduzieren die Modellgröße und den Speicherverbrauch drastisch und machen leistungsstarke LLMs für mehr Menschen zugänglich. Diese Effizienz kann jedoch manchmal zu langsameren Inferenzgeschwindigkeiten führen, und seine zugrunde liegenden Bibliotheken haben Schwachstellen gezeigt, die von den Nutzern Vorsicht erfordern.

Letztendlich hängt das beste Format vom spezifischen Kontext ab.

• Safetensors ist die erste Wahl für die sichere und effiziente gemeinsame Nutzung von Deep-Learning-Modellen.
• ONNX ist ideal für die Bereitstellung von Modellen über verschiedene Frameworks und Hardware hinweg.
• GGUF bietet unübertroffene Effizienz für die Ausführung großer Sprachmodelle auf lokalen, ressourcenbeschränkten Geräten.

Obwohl traditionelle CKPT-Formate immer noch nützlich sind, um den Trainingsfortschritt in kontrollierten Umgebungen zu speichern, werden sie für die öffentliche Verteilung durch sicherere Alternativen ersetzt. Mit der zunehmenden Reife des KI-Bereichs wird die kontinuierliche Entwicklung dieser spezialisierten Formate entscheidend sein, um die Leistungsfähigkeit und Reichweite des maschinellen Lernens voranzutreiben.