Safetensors, CKPT, ONNX, GGUF и другие ключевые форматы моделей ИИ [2025]

Рост популярности искусственного интеллекта и машинного обучения породил острую потребность в эффективных, безопасных и совместимых с различными системами методах хранения и распространения моделей. По мере усложнения моделей и их применения в самых разных областях выбор формата сериализации становится ключевым решением. От него зависят производительность, использование ресурсов и безопасность систем ИИ.

В этом обзоре мы рассмотрим ведущие форматы сериализации моделей, такие как Safetensors, CKPT, ONNX и GGUF. Мы расскажем об их уникальных особенностях, основных сценариях использования и сравним их между собой.

1. Введение в сериализацию моделей в ИИ/МО

Сериализация моделей — это процесс сохранения обученной модели машинного обучения в файл. Этот файл можно хранить, передавать или загружать для дальнейшего использования, например, для генерации прогнозов, продолжения обучения или проведения анализа. Эта возможность играет важнейшую роль на всех этапах жизненного цикла ИИ/МО — от исследований и разработок до крупномасштабного внедрения.

Критическая роль форматов моделей в жизненном цикле ИИ/МО

Сохранение моделей в стандартном формате имеет решающее значение по нескольким причинам:

• Воспроизводимость: позволяет точно повторять и проверять результаты научных экспериментов.
• Совместная работа: стандартные форматы упрощают обмен моделями между командами, что способствует совместной работе и интеграции моделей в более крупные системы.
• Развертывание: сериализация превращает обученную модель в портативный файл, который можно загружать и запускать в различных средах — от облачных серверов до периферийных устройств.
• Трансферное обучение: позволяет использовать предварительно обученные модели в качестве основы для новых задач, что значительно экономит время на обучение и сокращает потребность в данных.

Обзор проблем, решаемых современными форматами

По мере развития машинного обучения современные форматы сериализации эволюционировали для решения нескольких ключевых проблем:

• Безопасность: серьезную озабоченность вызывают риски безопасности, связанные с традиционными методами, особенно с теми, которые используют модуль pickle в Python. Такие методы могут допустить выполнение вредоносного кода при загрузке модели, что создает серьезную угрозу безопасности, если модель получена из ненадежного источника.
• Производительность: современные большие и сложные модели требуют очень быстрой загрузки и эффективного управления памятью. Это особенно важно для устройств с ограниченными ресурсами, таких как мобильные телефоны, и для приложений, требующих мгновенного отклика.
• Портативность и совместимость: в мире машинного обучения используется множество различных фреймворков (например, PyTorch, TensorFlow и JAX). Необходимы форматы, которые позволяют легко переносить модели между этими фреймворками и запускать их на разном оборудовании (GPU, TPU) без серьезных доработок.

В последние годы сообщество ИИ перешло на более эффективные и безопасные форматы, такие как GGUF и Safetensors, что отражает коллективные усилия по решению этих проблем.

Ранние методы сохранения моделей МО, например, использование в PyTorch модуля pickle для файлов .pt и .pth, были выбраны из-за простоты. Они позволяли легко сохранять сложные объекты Python, включая как архитектуру модели, так и состояние ее обучения (например, оптимизатор). Хотя это было удобно для исследований в среде Python, это создало серьезную уязвимость в безопасности. Модуль pickle спроектирован таким образом, что позволяет выполнять любой код, встроенный в файл, в процессе его загрузки. Это означает, что загрузка кажущейся безобидной модели из ненадежного источника может скомпрометировать всю систему.

Создание таких форматов, как Safetensors, наряду с растущим использованием ONNX и GGUF, является прямым ответом на этот риск безопасности, а также на потребность в повышении производительности и портативности. Safetensors, например, был разработан специально для предотвращения выполнения вредоносного кода. Это показывает, что по мере развития области машинного обучения и перехода ИИ от исследований к реальным приложениям безопасность и эффективность перестают быть второстепенными вопросами, а становятся основными принципами при разработке новых форматов. Это изменение представляет собой необходимый переход от гибкости, ориентированной на исследования, к безопасности и надежности на уровне продакшена, исправляя «технический долг» старых, более разрешительных методов.

Нативные форматы фреймворков, такие как .pt/.pth для PyTorch и .ckpt/.h5 для TensorFlow/Keras, тесно интегрированы со своими конкретными средами. Хотя это делает их эффективными в рамках одной экосистемы, это вызывает серьезные проблемы с совместимостью. Модель, обученная в одном фреймворке, не может быть легко использована в другом без сложных преобразований или поддержки отдельных систем для каждого фреймворка. Это приводит к разрозненным процессам разработки и развертывания.

Формат Open Neural Network Exchange (ONNX) был создан для устранения этих барьеров. Он представляет собой «кроссплатформенный» и «независимый от производителя» стандарт для моделей. Это достигается путем определения структуры модели (ее вычислительного графа) в абстрактном виде, который не зависит от какого-либо одного фреймворка. Аналогично, GGUF, хотя и был изначально создан для проекта llama.cpp, также нацелен на улучшение совместимости больших языковых моделей (LLM) на разных платформах.

Сегодняшнее разнообразие форматов отражает основное противоречие в индустрии МО: стремление к специфическим для фреймворка функциям на этапе разработки (например, динамический граф PyTorch для гибкости исследований) против необходимости в универсальном, эффективном и безопасном развертывании. Это противоречие означает, что несколько форматов будут продолжать сосуществовать, делая инструменты для конвертации и продвинутые конвейеры MLOps все более важными для связи разработки моделей с их развертыванием. Различные форматы будут продолжать использоваться на определенных этапах жизненного цикла МО в зависимости от их уникальных преимуществ.

2. Что такое Safetensors

Safetensors — это значительный шаг вперед в сериализации моделей, разработанный специально для устранения проблем безопасности и эффективности традиционных методов хранения моделей.

Определение и ключевые принципы проектирования

Safetensors — это современный, безопасный и быстрый формат сериализации для моделей глубокого обучения, созданный Hugging Face. Его главная цель — предоставить безопасный способ хранения и обмена тензорами — многомерными массивами, которые являются основными строительными блоками данных в машинном обучении. Формат спроектирован так, чтобы быть более безопасным и быстрым, чем старые форматы, такие как pickle.

Основным принципом Safetensors является строгое разделение весов модели (тензоров) от любого исполняемого кода. Эта конструкция напрямую устраняет уязвимости безопасности, присущие старым методам сериализации.

Ключевые особенности

• Нулевое копирование и отложенная загрузка: Ключом к производительности Safetensors является его возможность «нулевого копирования». Это позволяет отображать данные модели непосредственно с диска в память без создания лишних копий, что экономит память и ускоряет загрузку. Он также поддерживает «отложенную загрузку», что означает, что в оперативную память загружаются только необходимые части большой модели по мере надобности. Это очень полезно для чрезвычайно больших моделей или систем с ограниченной памятью.
• Структурированная обработка метаданных: Каждый файл Safetensors содержит отдельный раздел метаданных в формате JSON. В этом разделе перечислены все тензоры в модели с такими деталями, как их форма, тип данных и имя. Метаданные указывают на место, где хранятся фактические данные тензора в файле, что улучшает как читаемость, так и безопасность.
• Хранение данных только для тензоров: Самая важная особенность безопасности Safetensors заключается в том, что он предназначен для хранения «только необработанных данных тензоров и связанных с ними метаданных». По своей архитектуре он «не позволяет сериализовать произвольный код Python». Этот фундаментальный выбор дизайна устраняет риск выполнения вредоносного кода при загрузке модели.
• Поддержка квантования: Safetensors может работать с квантованными тензорами, что помогает уменьшить размер моделей и потребление памяти. Однако его поддержка квантования «не так гибка, как у GGUF», поскольку зависит от функций, предоставляемых фреймворком PyTorch.

Основные преимущества

• Повышенная безопасность (предотвращение выполнения произвольного кода): Это самое большое преимущество Safetensors. По своему дизайну он полностью предотвращает сохранение кода Python в файле. Это устраняет самый серьезный риск безопасности, присущий форматам на основе pickle: выполнение вредоносного кода при загрузке модели. Это делает Safetensors лучшим выбором для обмена и использования моделей из публичных или ненадежных источников. Формат также включает другие функции безопасности, такие как «продвинутые методы шифрования» и контроль доступа для предотвращения несанкционированного изменения данных.
• Оптимизация производительности: Использование нулевого копирования и отложенной загрузки приводит к «более быстрой загрузке и меньшему потреблению памяти». Тесты показывают, что он намного «быстрее», чем pickle, и может быть «в 76,6 раз быстрее на ЦП и в 2 раза быстрее на ГП по сравнению с традиционным методом сохранения в PyTorch».
• Портативность: Формат разработан для обеспечения портативности, то есть он работает на разных языках программирования. Это упрощает обмен и использование моделей в различных программных системах.
• Бесшовная интеграция: Safetensors обеспечивает «бесшовную интеграцию с существующими фреймворками и библиотеками машинного обучения». Это позволяет разработчикам легко перейти на этот более безопасный формат без внесения серьезных изменений в свои текущие рабочие процессы.

Сравнение с традиционной сериализацией (например, Pickle)

Модуль pickle в Python, который используется для файлов .pt и .pth в PyTorch, по своей сути небезопасен. Он позволяет скрывать любой код внутри сериализованного файла и автоматически выполнять его при загрузке файла. Это хорошо известная и серьезная уязвимость, особенно при использовании моделей, загруженных с общедоступных веб-сайтов. Хотя инструменты вроде picklescan могут обнаруживать некоторые вредоносные шаблоны, они не являются надежными и не могут гарантировать безопасность.

Safetensors был создан специально для решения этой проблемы безопасности. Разрешая хранить в файле только необработанные данные тензоров и структурированные метаданные, он исключает возможность выполнения вредоносного кода. Помимо безопасности, Safetensors также предлагает значительно лучшую производительность. Его дизайн, ориентированный на отображение в памяти и отложенную загрузку, приводит к значительно более быстрой загрузке и более эффективному использованию памяти по сравнению с pickle, который обычно загружает всю модель в память целиком.

Уязвимость в pickle означает, что загрузка файла .pt или .pth из ненадежного источника — это не просто загрузка данных, это равносильно запуску потенциально вредоносной программы. Известно, что «не существует 100% надежного решения для проверки безопасности файла pickle без его выполнения». Это перекладывает бремя проверки безопасности файла на пользователя, что является сложной и ненадежной задачей.

Safetensors меняет эту динамику, перепроектируя сам формат, чтобы предотвратить включение вредоносного кода с самого начала. Он переносит ответственность за безопасность со сложного процесса проверки пользователем на встроенную безопасность формата. Это знаменует собой серьезный сдвиг в сообществе ИИ с открытым исходным кодом от подхода «проверь, затем доверяй» к модели «доверие по определению». Это изменение признает, что сканировать сложные файлы на предмет всех возможных угроз практически невозможно. Блокируя вектор атаки (выполнение произвольного кода), Safetensors делает обмен моделями более безопасным, способствуя сотрудничеству и облегчая доступ к предварительно обученным моделям для большего числа людей. Этот принцип «доверия по определению» имеет важное значение для роста и безопасности всей экосистемы ИИ.

Хотя Safetensors был создан в основном из соображений безопасности (для устранения уязвимостей pickle), он также обеспечивает значительные улучшения производительности, такие как более быстрая загрузка, меньшее потребление памяти и операции с нулевым копированием. Эти выгоды в производительности — не просто побочный эффект; они являются прямым результатом оптимизированного дизайна Safetensors, который использует отображение в памяти и отложенную загрузку для эффективной обработки данных. Это делает его естественным образом более эффективным для больших моделей.

Это сочетание повышенной безопасности и значительных улучшений производительности стало ключевым фактором его широкого распространения. Если бы Safetensors предлагал только повышенную безопасность, его внедрение могло бы быть медленнее, особенно среди пользователей, не сосредоточенных на безопасности. Однако явные и измеримые преимущества в производительности дают вескую причину для перехода всем, ускоряя его интеграцию в крупные платформы, такие как Hugging Face. Это показывает, что в инженерии ИИ технология часто должна предлагать как преимущества в безопасности, так и в производительности, чтобы быть быстро и широко принятой в отрасли.

3. Обзор ключевых форматов моделей

Помимо Safetensors, в мире машинного обучения важны и другие форматы, каждый со своими особенностями и сценариями использования.

3.1. CKPT (контрольные точки)

Контрольная точка ИИ — это не один тип файла, а скорее снимок состояния модели, сохраненный в определенный момент обучения. Контрольные точки необходимы для сохранения прогресса во время длительных сеансов обучения.

Характеристики и типичные сценарии использования

Контрольная точка обычно содержит обученные параметры модели, такие как ее веса и смещения. Она также может хранить другую важную информацию, необходимую для возобновления обучения, например, состояние оптимизатора, номер текущей эпохи и расписание скорости обучения. Расширения файлов для контрольных точек различаются в зависимости от фреймворка. Для PyTorch это обычно .pt или .pth, а для TensorFlow/Keras — .ckpt или .h5.

Ключевые преимущества файлов CKPT:

• Воспроизводимость: они обеспечивают стабильное поведение модели при повторной загрузке, что крайне важно для проверки исследований и поддержания надежной производительности.
• Совместная работа: их легко передавать, что позволяет разработчикам воспроизводить результаты или развивать существующую работу.
• Гибкость: форматы .pt/.pth в PyTorch особенно гибки, что упрощает сохранение и загрузку моделей для исследовательских целей.

Типичные сценарии использования файлов CKPT:

• Возобновление обучения: продолжение прерванной сессии обучения, что экономит значительное время и вычислительные ресурсы.
• Дообучение (Fine-Tuning): использование предварительно обученной модели в качестве отправной точки для обучения на новом, более специфичном наборе данных.
• Оценка модели: тестирование производительности модели на разных этапах обучения без необходимости ее переобучения.
• Инференс (прогнозирование): загрузка полностью обученной модели в производственную систему для получения прогнозов.
• Исследования и эксперименты: анализ эволюции модели во времени и систематическая настройка ее параметров.
• Трансферное обучение: служат мощной отправной точкой для смежных задач, что сокращает время обучения и потребность в данных.
• Аварийное восстановление: выступают в качестве резервной копии для возобновления работы после сбоя во время длительного процесса обучения.

Вопросы безопасности

Самый большой риск безопасности файлов CKPT, особенно форматов .pt и .pth в PyTorch, связан с их зависимостью от модуля pickle в Python. Это означает, что эти файлы могут быть спроектированы так, чтобы содержать и выполнять вредоносный код Python при загрузке (если используется функция torch.load без параметра weights_only=True). Эта уязвимость (CWE-502: Десериализация недоверенных данных) может иметь серьезные последствия, такие как кража данных, изменение поведения модели или даже полный захват системы.

Индустрия признала этот риск, и Safetensors стал более безопасной альтернативой. Как отмечается, «большинство контрольных точек ИИ для Stable Diffusion сохраняются в форматах, таких как .ckpt или .safetensors... .safetensors является более безопасной альтернативой, разработанной для предотвращения выполнения вредоносного кода». Это свидетельствует о явной тенденции к использованию более безопасных форматов для обмена моделями.

CKPT, особенно в формате .pt/.pth для PyTorch, известны своей «высокой гибкостью». Эта гибкость позволяет сохранять не только веса модели, но и состояние оптимизатора и даже пользовательские классы Python, что очень полезно для точного возобновления обучения.

Однако именно эта гибкость и создает уязвимость в безопасности. Поскольку формат может сохранять любой объект Python, злоумышленник может скрыть вредоносный код внутри файла модели. Когда файл загружается без надлежащих мер предосторожности, этот код выполняется. Это иллюстрирует фундаментальный компромисс в проектировании систем: большая гибкость часто приводит к большей поверхности атаки и повышенным рискам безопасности.

Решением индустрии является внедрение форматов, подобных Safetensors, для распространения моделей, даже если более гибкие форматы .pt/.pth все еще используются для обучения в контролируемых средах. Это свидетельствует о растущем понимании того, что разные этапы жизненного цикла МО требуют разного уровня безопасности. Возможность сохранения полного состояния обучения лучше всего использовать в доверенной среде разработки, в то время как для обмена и развертывания требуются форматы со встроенными гарантиями безопасности.

3.2. ONNX (Open Neural Network Exchange)

ONNX, что означает Open Neural Network Exchange, — это открытый стандартный формат для моделей машинного обучения. Он разработан для обеспечения совместимости моделей между различными фреймворками глубокого обучения.

Характеристики и основные сценарии использования

Файл ONNX содержит полную структуру модели, включая последовательность операций (вычислительный граф), обученные веса и другие метаданные. Главное преимущество ONNX заключается в том, что он выступает в роли универсального переводчика. Модели, обученные в фреймворках, таких как PyTorch, TensorFlow или scikit-learn, могут быть преобразованы в формат ONNX, что позволяет реализовать подход «обучи один раз, развертывай где угодно».

В отличие от форматов, которые хранят только веса модели (например, Safetensors или GGUF), ONNX включает в себя вычислительный граф модели. Эта структура на основе графа обеспечивает «большую гибкость при преобразовании моделей между различными фреймворками». ONNX предлагает отличную портативность на множестве платформ, устройств и аппаратных ускорителей (ЦП, ГП, чипы ИИ). Модели хранятся в формате Protobuf, который является эффективным, платформонезависимым способом сохранения структурированных данных.

Основные сценарии использования ONNX:

• Развертывание между фреймворками: запуск модели в другом фреймворке или среде, отличной от той, в которой она была обучена.
• Высокопроизводительный инференс: ONNX Runtime — это движок для инференса, который автоматически оптимизирует модели для конкретного оборудования, что часто приводит к повышению производительности.
• Развертывание на периферийных и мобильных устройствах: небольшой размер и оптимизированная среда выполнения делают ONNX хорошим выбором для запуска моделей на устройствах с ограниченными ресурсами.
• Промышленные системы: его надежность и портативность делают его популярным для развертывания моделей в требовательных производственных средах.

Вопросы безопасности

Неочевидный, но серьезный риск безопасности моделей ONNX — это возможность архитектурных бэкдоров. Злоумышленник может изменить вычислительный граф модели, чтобы включить скрытый путь, который активируется только определенными входными данными. При активации этот бэкдор может заставить модель выдавать вредоносные или неожиданные результаты, при этом ведя себя нормально на стандартных входных данных, что затрудняет его обнаружение. Другие риски включают атаки инверсии модели (извлечение конфиденциальных обучающих данных) и состязательные атаки (использование вредоносных входных данных для обмана модели).

Для снижения этих угроз рекомендуется несколько практик:

• Подписывать модели ONNX цифровой подписью, чтобы убедиться, что они не были изменены.
• Развертывать модели в изолированных средах, таких как контейнеры Docker, с надежной сетевой безопасностью.
• Использовать инструменты мониторинга для отслеживания поведения модели и обнаружения аномалий.
• Следовать общим рекомендациям по безопасности, таким как очистка входных данных и своевременное обновление программного обеспечения.

ONNX в целом безопаснее форматов на основе pickle, поскольку он не выполняет произвольный код при загрузке. Однако, если модель ONNX использует пользовательские слои, реализованные извне, эти слои потенциально могут содержать вредоносный код Python, если ими не управлять должным образом.

Недостатки

Хотя ONNX поддерживает квантованные модели, он «не поддерживает нативно квантованные тензоры» так же гладко, как GGUF. Он разбивает их на отдельные тензоры целых чисел и масштабных коэффициентов, что «может привести к снижению качества». Преобразование моделей со сложными или пользовательскими слоями, которые не являются стандартными в ONNX, также может быть затруднительным и требовать ручной работы, что может замедлить производительность.

Традиционные форматы, основанные на pickle в Python (например, файлы .pt), сохраняют объекты Python, которые могут включать исполняемый код. Это рассматривает модель как программу. В отличие от этого, ONNX фокусируется на сохранении «вычислительного графа» модели — более абстрактного представления ее операций и потока данных, а не конкретной реализации кода.

Именно этот графоцентричный подход обеспечивает ONNX превосходную портативность между фреймворками и позволяет оптимизировать его для различного оборудования. Определяя логику модели на более высоком уровне, она становится независимой от фреймворка, в котором была обучена. Это значительный концептуальный сдвиг, переход от специфичной для фреймворка реализации к портативному вычислительному представлению. Хотя это значительно улучшает гибкость развертывания, это также создает новые проблемы безопасности, такие как архитектурные бэкдоры, которые требуют иных стратегий защиты, чем те, что используются для форматов на основе pickle.

3.3. GGUF (GPT-Generated Unified Format)

GGUF (GPT-Generated Unified Format) — это формат файлов, разработанный специально для эффективного хранения и запуска больших языковых моделей (LLM). Это улучшенная версия своего предшественника, GGML, и ее цель — сделать LLM проще в использовании, особенно на персональных компьютерах.

Характеристики и основные сценарии использования

GGUF разработан для того, чтобы делать LLM меньше по размеру и значительно быстрее в загрузке. Это критически важно для локального запуска моделей, где дисковое пространство и оперативная память часто ограничены. Формат использует «продвинутые методы сжатия» для достижения этой цели. Он также предоставляет стандартный способ упаковки весов, архитектуры и метаданных модели, обеспечивая ее стабильную работу в различном программном обеспечении, особенно с движками инференса на базе llama.cpp.

Ключевой особенностью GGUF является его превосходная поддержка квантования. Квантование снижает числовую точность весов модели (например, с 16-битных до 4-битных чисел), что кардинально сокращает размер файла и объем вычислений, необходимых для его запуска. Модели GGUF доступны с различными уровнями квантования (от Q2 до Q8), предлагая ряд компромиссов между размером и качеством.

• Низкие уровни квантования (например, Q2 или Q3) приводят к очень маленьким файлам, которые могут работать на оборудовании с меньшим объемом оперативной памяти, но могут иметь небольшое снижение качества модели.
• Высокие уровни квантования (например, Q6 или Q8) поддерживают лучшее качество, но требуют больше места для хранения и оперативной памяти.

Основные сценарии использования GGUF:

• Локальное развертывание LLM: инструменты, такие как Ollama, используют GGUF, чтобы пользователям было легко запускать мощные LLM на своих компьютерах.
• Офлайн-помощники ИИ: многие приложения используют модели GGUF для предоставления локальных, приватных альтернатив облачным инструментам ИИ.
• Помощь в написании кода: IDE и редакторы кода начинают использовать модели GGUF для интеллектуального автодополнения кода.
• Локальные чат-боты: модели GGUF часто используются для приватных и отзывчивых систем разговорного ИИ.
• Исследования в области ИИ: его гибкость и поддержка квантования делают его популярным среди исследователей для экспериментов с LLM на доступном оборудовании.

Вопросы безопасности

Вопреки распространенному мнению, в базовой библиотеке GGML (на которой основан GGUF) были задокументированы уязвимости, связанные с «недостаточной проверкой входного файла». Эти недостатки могут привести к «потенциально эксплуатируемым уязвимостям повреждения памяти во время синтаксического анализа». Были выявлены конкретные проблемы безопасности, когда непроверенный пользовательский ввод мог вызвать переполнение кучи, потенциально позволяя злоумышленнику выполнить вредоносный код.

Существует распространенное заблуждение, что файл GGUF «не может содержать код» и является «исключительно файлом модели». Однако отчет о безопасности от Databricks показал, что, хотя сам файл GGUF не содержит исполняемого кода Python, специально созданный файл может использовать недостатки в парсере (программном обеспечении, которое читает файл) для вызова повреждения памяти и достижения выполнения кода.

Для снижения этих рисков лучше всего:

• Использовать модели и инструменты из хорошо известных, авторитетных источников (например, Koboldcpp).
• Запускать LLM в изолированных средах (например, в контейнерах Docker).
• Для особо чувствительных задач рассмотреть возможность использования выделенной машины без доступа к интернету.

Недостатки

Основным недостатком GGUF является то, что большинство моделей сначала разрабатываются в других фреймворках (например, в PyTorch) и должны быть преобразованы в формат GGUF. Этот процесс преобразования не всегда прост, и некоторые модели могут быть не полностью поддержаны инструментами, совместимыми с GGUF. Кроме того, модификация или дообучение модели после ее перевода в формат GGUF, как правило, «не является простой задачей».

Хотя GGUF разработан для быстрой загрузки и эффективного использования VRAM, фактическая скорость инференса (насколько быстро модель генерирует ответы) иногда может быть ниже, чем у неквантованных моделей. Это может происходить при более низких уровнях квантования из-за дополнительной работы, необходимой для деквантования весов во время инференса. Основное преимущество GGUF в производительности заключается в том, что он позволяет запускать большие модели на потребительском оборудовании за счет экономии VRAM, а не в том, что он обязательно делает их быстрее.

Определяющей чертой GGUF является его глубокая интеграция с квантованием, что позволяет запускать мощные LLM на «потребительском оборудовании» с ограниченным объемом VRAM. Это способствует демократизации доступа к ИИ. Однако эта эффективность сопряжена с компромиссами. Хотя квантование уменьшает размер моделей, более низкие уровни могут незначительно снизить их качество. Кроме того, скорость инференса иногда может быть ниже, чем у неквантованных моделей, особенно если неквантованная версия полностью помещается в VRAM.

Преимущество «скорости» GGUF обычно относится к более быстрой загрузке и возможности запуска более крупной модели на ограниченном оборудовании, а не к чистой производительности. GGUF идеально отражает тенденцию «демократизации ИИ», делая передовые модели доступными для большего числа людей. Это требует от пользователей находить баланс между качеством модели и ограничениями их оборудования. Наличие нескольких уровней квантования позволяет пользователям адаптировать модели к своим конкретным потребностям, что является ключом к популярности формата в сообществе локального ИИ.

4. Сравнительный анализ форматов

Выбор подходящего формата сериализации модели — это стратегическое решение, которое зависит от баланса различных факторов, включая безопасность, производительность, эффективность использования ресурсов, совместимость и конкретный контекст применения. В таблице ниже представлен сравнительный обзор Safetensors, CKPT, ONNX и GGUF по этим критическим параметрам.

Характеристика / Формат	Safetensors	CKPT (.pt/.pth)	ONNX	GGUF
Основное назначение	Безопасное и быстрое хранение тензоров для моделей глубокого обучения	Контрольные точки обучения, параметры модели, сохранение состояния	Совместимость между фреймворками, развертывание на различном оборудовании	Эффективное хранение LLM, оптимизированный локальный инференс на потребительском оборудовании
Профиль безопасности	Высокий (выполнение произвольного кода исключено по дизайну)	Низкий (выполнение произвольного кода через десериализацию Pickle)	Средний (нет выполнения произвольного кода, но возможны архитектурные бэкдоры)	Средний (уязвимости базовой библиотеки, но сам файл не является исполняемым кодом Python)
Скорость загрузки	Очень высокая (нулевое копирование, отложенная загрузка)	Разная (может быть медленнее Safetensors из-за полной загрузки)	Высокая (оптимизированная среда выполнения, оптимизации графа)	Высокая (mmap, эффективен для LLM)
Использование памяти	Эффективное (отложенная загрузка, частичная загрузка)	Может быть высоким (загружает весь граф объектов)	Эффективное (оптимизации среды выполнения)	Очень эффективное (квантование, экономия VRAM)
Место на диске	Эффективное (сжатие, только тензоры)	Разное (может быть большим, включает полное состояние)	Эффективное (формат Protobuf)	Очень эффективное (квантование, продвинутое сжатие)
Поддержка квантования	Да, но менее гибкая, чем у GGUF (зависит от PyTorch)	Да (зависит от фреймворка)	Ограниченная нативная поддержка (разбивает тензоры)	Надежная (несколько уровней, Q2-Q8, специализированные варианты)
Портативность	Высокая (между разными языками программирования)	Низкая (тесно связана с конкретными фреймворками)	Очень высокая (между фреймворками, платформами, на различном оборудовании)	Высокая (особенно для экосистемы llama.cpp)
Основные применения	Безопасный обмен моделями, стандарт в Hugging Face	Обучение, дообучение, исследования, сохранение моделей	Развертывание в продакшене, на мобильных/периферийных устройствах, обеспечение совместимости	Локальный инференс LLM, потребительское оборудование, чат-приложения
Ключевое преимущество	Безопасность по дизайну, быстрая загрузка, низкое потребление памяти	Сохранение состояния обучения, детальная воспроизводимость	Универсальное развертывание, оптимизация среды выполнения, независимость от фреймворка	Эффективность LLM на потребительском оборудовании, гибкое квантование
Ключевой недостаток	Требуется парсер JSON для метаданных в C++	Риск выполнения произвольного кода, большие размеры файлов	Сложность с пользовательскими слоями, ограниченное нативное квантование	Часто требуется конвертация, возможное замедление инференса при низких уровнях квантования

5. Заключение

Мир форматов моделей машинного обучения постоянно развивается, движимый потребностью в повышении безопасности, производительности и совместимости. Традиционные форматы, такие как файлы CKPT на основе pickle, были гибкими для исследований, но вводили серьезные риски безопасности, допуская выполнение произвольного кода. Это привело к разработке и внедрению новых, более безопасных форматов.

Safetensors является ярким примером этого сдвига. Разделяя данные и код и используя эффективные методы загрузки, он предлагает безопасную и высокопроизводительную альтернативу для обмена моделями глубокого обучения, особенно в экосистеме Hugging Face. Его двойные преимущества — безопасность и скорость — сделали его популярным выбором в современных рабочих процессах ИИ.

ONNX решает основную проблему несовместимости фреймворков. Представляя модели в виде абстрактных вычислительных графов, он позволяет развертывать их на различном оборудовании и программном обеспечении. Хотя ONNX предотвращает выполнение произвольного кода, наблюдаемое в pickle, у него есть свои проблемы с безопасностью, такие как архитектурные бэкдоры, которые требуют иных мер защиты.

GGUF — это специализированное решение для запуска больших языковых моделей на потребительском оборудовании. Его мощные функции квантования значительно уменьшают размер модели и потребление памяти, делая мощные LLM доступными для большего числа людей. Однако эта эффективность иногда может приводить к более медленной скорости инференса, а его базовые библиотеки показали уязвимости, которые требуют от пользователей осторожности.

В конечном счете, лучший формат зависит от конкретного контекста.

• Safetensors — лучший выбор для безопасного и эффективного обмена моделями глубокого обучения.
• ONNX идеален для развертывания моделей на различных фреймворках и оборудовании.
• GGUF предлагает непревзойденную эффективность для запуска больших языковых моделей на локальных устройствах с ограниченными ресурсами.

Хотя традиционные форматы CKPT все еще полезны для сохранения прогресса обучения в контролируемых средах, их заменяют более безопасные альтернативы для публичного распространения. По мере развития области ИИ дальнейшая разработка этих специализированных форматов будет иметь важное значение для расширения возможностей и охвата машинного обучения.