Safetensors, CKPT, ONNX, GGUF y otros formatos clave de modelos de IA [2025]

El crecimiento de la inteligencia artificial y el aprendizaje automático ha creado una necesidad crítica de métodos para almacenar y distribuir modelos que sean eficientes, seguros y compatibles con diferentes sistemas. A medida que los modelos se vuelven más complejos y se utilizan en entornos más diversos, la elección del formato de serialización es una decisión clave. Esta elección afecta al rendimiento, al uso de recursos y a la seguridad de los sistemas de IA.

Este informe examina los principales formatos de serialización de modelos, incluidos Safetensors, CKPT, ONNX y GGUF. Destaca sus características únicas, sus usos comunes y cómo se comparan entre sí.

1. Introducción a la serialización de modelos en IA/ML

La serialización de modelos es el proceso de guardar un modelo de aprendizaje automático entrenado en un archivo. Este archivo puede almacenarse, compartirse o volver a cargarse para su uso posterior, como para hacer predicciones, continuar el entrenamiento o realizar análisis. Esta capacidad es esencial para todo el ciclo de vida de la IA/ML, desde la investigación y el desarrollo hasta el despliegue a gran escala.

El papel fundamental de los formatos de modelo en el ciclo de vida de la IA/ML

Guardar los modelos en un formato estándar es crucial por varias razones:

• Reproducibilidad: Permite que los experimentos de investigación se repliquen y validen con precisión.
• Colaboración: Los formatos estándar facilitan que los equipos compartan modelos, lo que les permite trabajar juntos e integrar modelos en sistemas más grandes.
• Despliegue: La serialización convierte un modelo entrenado en un archivo portable que se puede cargar y ejecutar en diversos entornos, desde servidores en la nube hasta dispositivos perimetrales (edge).
• Aprendizaje por transferencia (Transfer Learning): Permite el uso de modelos preentrenados como base para nuevas tareas, lo que ahorra una cantidad significativa de tiempo de entrenamiento y datos.

Resumen de los desafíos que abordan los formatos modernos

A medida que el aprendizaje automático ha avanzado, los formatos de serialización modernos han evolucionado para resolver varios desafíos clave:

• Seguridad: Una de las principales preocupaciones es el riesgo de seguridad en los métodos tradicionales, especialmente los que utilizan el módulo pickle de Python. Estos métodos pueden permitir la ejecución de código malicioso cuando se carga un modelo, lo que crea una grave amenaza de seguridad si el modelo procede de una fuente no confiable.
• Rendimiento: Los modelos actuales, grandes y complejos, requieren una carga muy rápida y una gestión eficiente de la memoria. Esto es especialmente importante para dispositivos con recursos limitados, como los teléfonos móviles, y para aplicaciones que necesitan respuestas inmediatas.
• Portabilidad e interoperabilidad: En el mundo del aprendizaje automático se utilizan muchos frameworks diferentes (como PyTorch, TensorFlow y JAX). Se necesitan formatos que permitan que los modelos se muevan fácilmente entre estos frameworks y se ejecuten en diferentes hardware (GPU, TPU) sin necesidad de grandes modificaciones.

En los últimos años, la comunidad de IA se ha decantado por formatos más eficientes y seguros como GGUF y Safetensors, lo que refleja un esfuerzo colectivo por abordar estos problemas.

Los primeros métodos para guardar modelos de ML, como el uso del módulo pickle de Python por parte de PyTorch para sus archivos .pt y .pth, se eligieron por su facilidad de uso. Podían guardar fácilmente objetos complejos de Python, incluyendo tanto el diseño del modelo como su estado de entrenamiento (como el optimizador). Aunque esto resultaba conveniente para la investigación en un entorno Python, creaba una importante vulnerabilidad de seguridad. El módulo pickle está diseñado de forma que permite ejecutar cualquier código incrustado en un archivo durante el proceso de carga. Esto significa que cargar un modelo aparentemente inofensivo de una fuente no confiable podría comprometer todo un sistema.

La creación de formatos como Safetensors, junto con el uso creciente de ONNX y GGUF, es una respuesta directa a este riesgo de seguridad, así como a la necesidad de un mejor rendimiento y portabilidad. Safetensors, por ejemplo, se creó específicamente para evitar la ejecución de código malicioso. Esto demuestra que a medida que el campo del aprendizaje automático madura y la IA pasa de la investigación a las aplicaciones del mundo real, la seguridad y la eficiencia ya no son consideraciones secundarias, sino principios básicos en el diseño de nuevos formatos. Este cambio representa una transición necesaria de la flexibilidad centrada en la investigación a la seguridad y robustez a nivel de producción, saldando la "deuda técnica" de los métodos más antiguos y permisivos.

Los formatos nativos de los frameworks, como .pt/.pth para PyTorch y .ckpt/.h5 para TensorFlow/Keras, están estrechamente integrados con sus frameworks específicos. Si bien esto los hace eficientes dentro de un único ecosistema, causa problemas significativos de interoperabilidad. Un modelo entrenado en un framework no se puede utilizar fácilmente en otro sin conversiones complejas o manteniendo sistemas separados para cada framework. Esto conduce a flujos de trabajo de desarrollo y despliegue desconectados.

El formato Open Neural Network Exchange (ONNX) se creó para derribar estas barreras. Proporciona un estándar "multiplataforma" y "neutral" para los modelos. Lo consigue definiendo la estructura del modelo (su grafo computacional) de una forma abstracta que es independiente de cualquier framework. Del mismo modo, GGUF, aunque originalmente se creó para el proyecto llama.cpp, también se centra en mejorar la compatibilidad de los modelos de lenguaje grandes (LLM) en diferentes plataformas.

La variedad de formatos actual refleja una tensión fundamental en la industria del ML: el deseo de contar con funciones específicas del framework durante el desarrollo (por ejemplo, el grafo dinámico de PyTorch para la flexibilidad en la investigación) frente a la necesidad de un despliegue universal, eficiente y seguro. Esta tensión significa que seguirán existiendo múltiples formatos, lo que hace que las herramientas de conversión y los pipelines de MLOps avanzados sean cada vez más vitales para conectar el desarrollo de modelos con el despliegue. Se seguirán utilizando diferentes formatos para etapas específicas del ciclo de vida del ML en función de sus fortalezas únicas.

2. Entendiendo Safetensors

Safetensors es un gran paso adelante en la serialización de modelos, diseñado específicamente para solucionar los problemas de seguridad y eficiencia de los métodos tradicionales de almacenamiento de modelos.

Definición y principios básicos de diseño

Safetensors es un formato de serialización moderno, seguro y rápido para modelos de aprendizaje profundo, creado por Hugging Face. Su principal objetivo es proporcionar una forma segura de almacenar y compartir tensores, que son las matrices multidimensionales que constituyen los bloques de datos básicos del aprendizaje automático. El formato está diseñado para ser más seguro y rápido que los formatos más antiguos como pickle.

Un principio fundamental de Safetensors es su estricta separación de los pesos del modelo (tensores) de cualquier código ejecutable. Este diseño aborda directamente las vulnerabilidades de seguridad que se encuentran en los métodos de serialización más antiguos.

Características clave

• Carga "zero-copy" y perezosa (lazy loading): Una de las claves del rendimiento de Safetensors es su capacidad de "zero-copy". Esto permite que los datos del modelo se mapeen directamente desde el disco a la memoria sin crear copias adicionales, lo que ahorra memoria y acelera la carga. También admite la "carga perezosa" (lazy loading), lo que significa que solo se cargan en la RAM las partes necesarias de un modelo grande cuando se necesitan. Esto es muy útil para modelos extremadamente grandes o sistemas con memoria limitada.
• Manejo estructurado de metadatos: Cada archivo de Safetensors incluye una sección de metadatos separada en formato JSON. Esta sección enumera todos los tensores del modelo con detalles como su forma, tipo de dato y nombre. Los metadatos apuntan a dónde se almacenan los datos reales de los tensores por separado en el archivo, lo que mejora tanto la legibilidad como la seguridad.
• Almacenamiento exclusivo de datos de tensores: La característica de seguridad más importante de Safetensors es que está diseñado para contener "únicamente datos brutos de tensores y metadatos asociados". Por su arquitectura, "no permite la serialización de código Python arbitrario". Esta elección de diseño fundamental elimina el riesgo de ejecutar código malicioso al cargar un modelo.
• Soporte de cuantización: Safetensors puede manejar tensores cuantizados, lo que ayuda a que los modelos sean más pequeños y usen menos memoria. Sin embargo, su soporte de cuantización "no es tan flexible como el de GGUF" porque depende de las características que proporciona el framework PyTorch.

Beneficios principales

• Seguridad mejorada (mitigación de la ejecución de código arbitrario): Esta es la mayor ventaja de Safetensors. Por diseño, impide por completo que se guarde código Python en el archivo. Esto elimina el riesgo de seguridad más grave que se encuentra en los formatos basados en pickle: la ejecución de código malicioso al cargar un modelo. Esto convierte a Safetensors en la mejor opción para compartir y utilizar modelos de fuentes públicas o no confiables. El formato también incluye otras características de seguridad como "técnicas avanzadas de cifrado" y controles de acceso para evitar la manipulación de datos.
• Optimización del rendimiento: El uso de "zero-copy" y "lazy loading" da como resultado "tiempos de carga más rápidos y un menor uso de memoria". Las pruebas de rendimiento muestran que es mucho "más rápido" que pickle y puede ser "76.6 veces más rápido en CPU y 2 veces más rápido en GPU en comparación con el método de guardado tradicional de PyTorch".
• Portabilidad: El formato está diseñado para ser portable, lo que significa que funciona en diferentes lenguajes de programación. Esto facilita el uso y la compartición de modelos en diversos sistemas de software.
• Integración fluida: Safetensors se integra "de forma fluida con los frameworks y bibliotecas de aprendizaje automático existentes". Esto permite a los desarrolladores adoptar este formato más seguro fácilmente, sin realizar cambios importantes en sus flujos de trabajo actuales.

Comparación con la serialización tradicional (p. ej., Pickle)

El módulo pickle de Python, que se utiliza para los archivos .pt y .pth de PyTorch, es intrínsecamente inseguro. Permite que cualquier código se oculte dentro de un archivo serializado y se ejecute automáticamente cuando se carga el archivo. Se trata de una vulnerabilidad grave y bien conocida, especialmente cuando se utilizan modelos descargados de sitios web públicos. Aunque herramientas como picklescan pueden detectar algunos patrones maliciosos, no son infalibles y no pueden garantizar la seguridad.

Safetensors se creó específicamente para resolver este problema de seguridad. Al permitir únicamente datos brutos de tensores y metadatos estructurados en el archivo, elimina la posibilidad de ejecutar código malicioso. Además de la seguridad, Safetensors también ofrece un rendimiento mucho mejor. Su diseño para el mapeo de memoria y la carga perezosa conduce a una carga significativamente más rápida y un uso de memoria más eficiente en comparación con pickle, que normalmente carga todo el modelo en la memoria de una sola vez.

La vulnerabilidad de seguridad del pickle de Python significa que descargar un archivo .pt o .pth de una fuente no confiable no es solo descargar datos, es como ejecutar un programa potencialmente dañino. Se sabe que "no existe una solución 100 % infalible para verificar la seguridad de un archivo pickle sin ejecutarlo". Esto traslada la responsabilidad de verificar la seguridad del archivo al usuario, lo cual es difícil y poco fiable.

Safetensors cambia esta dinámica al rediseñar el propio formato para impedir que se incluya código dañino en primer lugar. Traslada la responsabilidad de la seguridad del difícil proceso de verificación del usuario a la seguridad integrada en el formato. Esto marca un cambio importante en la comunidad de IA de código abierto, pasando de un enfoque de "verificar y luego confiar" a un modelo de "confianza por diseño". Este cambio reconoce que es casi imposible escanear todas las posibles amenazas en archivos complejos. Al bloquear el vector de ataque (la ejecución de código arbitrario), Safetensors hace que sea más seguro compartir modelos de forma masiva, fomentando la colaboración y facilitando que más personas utilicen modelos preentrenados. Este principio de "confianza por diseño" es esencial para el crecimiento y la seguridad de todo el ecosistema de IA.

Aunque Safetensors se creó principalmente por razones de seguridad (para corregir las vulnerabilidades de pickle), también proporciona importantes mejoras de rendimiento, como una carga más rápida, un menor uso de memoria y operaciones "zero-copy". Estas ganancias de rendimiento no son solo un efecto secundario; son el resultado directo del diseño optimizado de Safetensors, que utiliza el mapeo de memoria y la carga perezosa para manejar los datos de manera eficiente. Esto lo hace naturalmente más eficiente para modelos grandes.

Esta combinación de seguridad mejorada y mejoras significativas en el rendimiento ha sido un factor clave para su adopción generalizada. Si Safetensors solo hubiera ofrecido una mejor seguridad, su adopción podría haber sido más lenta, especialmente entre los usuarios que no se centran inmediatamente en la seguridad. Sin embargo, los beneficios de rendimiento claros y medibles proporcionan una razón de peso para que todo el mundo cambie, acelerando su integración en las principales plataformas como Hugging Face. Esto demuestra que en la ingeniería de IA, una tecnología a menudo necesita ofrecer ventajas tanto de seguridad como de rendimiento para ser aceptada rápida y ampliamente por la industria.

3. Resumen de los principales formatos de modelo

Además de Safetensors, existen otros formatos importantes en el mundo del aprendizaje automático, cada uno con sus propias características y casos de uso.

3.1. CKPT (Checkpoints)

Un checkpoint de IA no es un único tipo de archivo, sino más bien una instantánea del estado de un modelo guardada en un punto específico durante el entrenamiento. Los checkpoints son esenciales para guardar el progreso durante las largas sesiones de entrenamiento.

Características y casos de uso típicos

Un checkpoint normalmente contiene los parámetros aprendidos de un modelo, como sus pesos y sesgos. También puede almacenar otra información importante necesaria para reanudar el entrenamiento, como el estado del optimizador, el número de época actual y el programa de la tasa de aprendizaje. Las extensiones de archivo para los checkpoints varían según el framework. Para PyTorch, suelen ser .pt o .pth, mientras que para TensorFlow/Keras, son .ckpt o .h5.

Entre las principales ventajas de los archivos CKPT se incluyen:

• Reproducibilidad: Garantizan que un modelo se comporte de forma consistente cuando se vuelve a cargar, lo cual es vital para validar la investigación y mantener un rendimiento fiable.
• Colaboración: Son fáciles de compartir, lo que permite a los desarrolladores replicar resultados o basarse en trabajos existentes.
• Flexibilidad: Los formatos .pt/.pth de PyTorch son particularmente flexibles, lo que simplifica el guardado y la carga de modelos para fines de investigación.

Los casos de uso comunes de los archivos CKPT incluyen:

• Reanudar el entrenamiento: Continuar una sesión de entrenamiento que se interrumpió, lo que ahorra una cantidad significativa de tiempo y recursos computacionales.
• Ajuste fino (fine-tuning): Utilizar un modelo preentrenado como punto de partida para entrenar en un nuevo conjunto de datos más específico.
• Evaluación de modelos: Probar el rendimiento de un modelo en diferentes etapas del entrenamiento sin tener que volver a entrenarlo.
• Inferencia: Cargar un modelo completamente entrenado en un sistema de producción para hacer predicciones.
• Investigación y experimentación: Analizar cómo evoluciona un modelo a lo largo del tiempo y ajustar sistemáticamente sus parámetros.
• Aprendizaje por transferencia: Servir como un poderoso punto de partida para tareas relacionadas, lo que reduce el tiempo de entrenamiento y las necesidades de datos.
• Recuperación ante desastres: Actuar como una copia de seguridad para reanudar el trabajo después de un fallo durante un largo proceso de entrenamiento.

Consideraciones de seguridad

El mayor riesgo de seguridad de los archivos CKPT, especialmente los formatos .pt y .pth de PyTorch, proviene de su dependencia del módulo pickle de Python. Esto significa que estos archivos pueden diseñarse para contener y ejecutar código Python malicioso cuando se cargan (si se utiliza la función torch.load sin el ajuste weights_only=True). Esta vulnerabilidad (CWE-502: Deserialización de datos no confiables) puede tener graves consecuencias, como el robo de datos, la alteración del comportamiento del modelo o incluso la toma de control total del sistema.

La industria ha reconocido este riesgo y Safetensors ha surgido como una opción más segura. Como se ha señalado, "la mayoría de los checkpoints de IA de Stable Diffusion se guardan en formatos como .ckpt o .safetensors... .safetensors es una alternativa más segura, diseñada para evitar la ejecución de código malicioso". Esto muestra una clara tendencia hacia formatos más seguros para compartir modelos.

Los CKPT, particularmente en el formato .pt/.pth de PyTorch, son conocidos por ser "altamente flexibles". Esta flexibilidad les permite guardar no solo los pesos del modelo, sino también el estado del optimizador e incluso clases personalizadas de Python, lo que es muy útil para reanudar el entrenamiento con precisión.

Sin embargo, esta misma flexibilidad es la que crea la vulnerabilidad de seguridad. Dado que el formato puede guardar cualquier objeto de Python, un atacante puede ocultar código malicioso dentro de un archivo de modelo. Cuando el archivo se carga sin las precauciones adecuadas, ese código se ejecuta. Esto ilustra una disyuntiva fundamental en el diseño de sistemas: una mayor flexibilidad a menudo conduce a una mayor superficie de ataque y a mayores riesgos de seguridad.

La solución de la industria es adoptar formatos como Safetensors para distribuir modelos, aunque los formatos más flexibles .pt/.pth todavía se utilicen para el entrenamiento en entornos controlados. Esto demuestra una creciente comprensión de que las diferentes etapas del ciclo de vida del ML requieren diferentes niveles de seguridad. La capacidad de guardar el estado completo del entrenamiento se aprovecha mejor dentro de un entorno de desarrollo de confianza, mientras que la compartición y el despliegue requieren formatos con garantías de seguridad integradas.

3.2. ONNX (Open Neural Network Exchange)

ONNX, que significa Open Neural Network Exchange, es un formato de estándar abierto para modelos de aprendizaje automático. Está diseñado para permitir que los modelos funcionen en diferentes frameworks de aprendizaje profundo.

Características y casos de uso principales

Un archivo ONNX contiene la estructura completa de un modelo, incluyendo su secuencia de operaciones (el grafo computacional), sus pesos aprendidos y otros metadatos. Una de las mayores fortalezas de ONNX es que actúa como un traductor universal. Los modelos entrenados en frameworks como PyTorch, TensorFlow o scikit-learn pueden convertirse al formato ONNX, lo que permite un enfoque de "entrenar una vez, desplegar en cualquier lugar".

A diferencia de los formatos que solo almacenan los pesos del modelo (como Safetensors o GGUF), ONNX incluye el grafo computacional del modelo. Esta estructura basada en grafos proporciona "más flexibilidad al convertir modelos entre diferentes frameworks". ONNX ofrece una excelente portabilidad en muchas plataformas, dispositivos y aceleradores de hardware (CPU, GPU, chips de IA). Los modelos se almacenan en formato Protobuf, que es una forma eficiente y neutral a la plataforma de guardar datos estructurados.

Los casos de uso principales de ONNX incluyen:

• Despliegue entre frameworks: Ejecutar un modelo en un framework o entorno diferente al que se entrenó.
• Inferencia de alto rendimiento: ONNX Runtime es un motor de inferencia que optimiza automáticamente los modelos para un hardware específico, lo que a menudo conduce a un rendimiento más rápido.
• Despliegue en dispositivos perimetrales (edge) y móviles: Su pequeño tamaño y su tiempo de ejecución optimizado hacen de ONNX una buena opción para ejecutar modelos en dispositivos con recursos limitados.
• Sistemas de producción: Su robustez y portabilidad lo hacen popular para desplegar modelos en entornos de producción exigentes.

Consideraciones de seguridad

Un riesgo de seguridad sutil pero grave con los modelos ONNX es la posibilidad de puertas traseras arquitectónicas. Un atacante podría modificar el grafo computacional de un modelo para incluir una ruta oculta que solo se active con entradas específicas. Cuando se activa, esta puerta trasera podría hacer que el modelo produzca resultados maliciosos o inesperados, todo ello mientras se comporta normalmente con entradas estándar, lo que dificulta su detección. Otros riesgos incluyen ataques de inversión de modelo (extraer datos de entrenamiento sensibles) y ataques adversarios (utilizar entradas maliciosas para engañar al modelo).

Para reducir estas amenazas, se recomiendan varias prácticas:

• Firmar digitalmente los modelos ONNX para garantizar que no han sido manipulados.
• Desplegar los modelos en entornos aislados, como contenedores de Docker, con una fuerte seguridad de red.
• Utilizar herramientas de monitorización para rastrear el comportamiento del modelo y detectar anomalías.
• Seguir las mejores prácticas generales de seguridad, como la sanitización de entradas y mantener el software actualizado.

ONNX es generalmente más seguro que los formatos basados en pickle porque no ejecuta código arbitrario al cargarse. Sin embargo, si un modelo ONNX utiliza capas personalizadas implementadas externamente, esas capas podrían contener código Python malicioso si no se gestionan con cuidado.

Desventajas

Aunque ONNX admite modelos cuantizados, "no admite de forma nativa los tensores cuantizados" tan fluidamente como GGUF. Los descompone en tensores de enteros y factores de escala separados, lo que "puede llevar a una reducción de la calidad". La conversión de modelos con capas complejas o personalizadas que no son estándar en ONNX también puede ser difícil y puede requerir un trabajo personalizado que podría ralentizar el rendimiento.

Los formatos tradicionales basados en el pickle de Python (como los archivos .pt) guardan objetos de Python, que pueden incluir código ejecutable. Esto trata al modelo como un programa. En cambio, ONNX se centra en guardar el "grafo computacional" del modelo, una representación más abstracta de sus operaciones y flujo de datos, en lugar de una implementación de código específica.

Este enfoque centrado en el grafo es lo que le da a ONNX su excelente portabilidad entre frameworks y le permite ser optimizado para diferentes hardware. Al definir la lógica del modelo a un nivel superior, se vuelve independiente del framework en el que fue entrenado. Este es un cambio conceptual significativo, pasando de una implementación específica de un framework a una representación computacional portable. Si bien esto mejora enormemente la flexibilidad del despliegue, también crea nuevas preocupaciones de seguridad, como las puertas traseras arquitectónicas, que requieren estrategias de seguridad diferentes a las utilizadas para los formatos basados en pickle.

3.3. GGUF (GPT-Generated Unified Format)

GGUF (GPT-Generated Unified Format) es un formato de archivo diseñado específicamente para almacenar y ejecutar modelos de lenguaje grandes (LLM) de manera eficiente. Es una versión mejorada de su predecesor, GGML, y tiene como objetivo facilitar el uso de los LLM, especialmente en ordenadores personales.

Características y casos de uso principales

GGUF está diseñado para hacer que los LLM sean más pequeños y mucho más rápidos de cargar. Esto es crucial para ejecutar modelos localmente, donde el espacio de almacenamiento y la RAM suelen ser limitados. El formato utiliza "técnicas avanzadas de compresión" para lograrlo. También proporciona una forma estándar de empaquetar los pesos, la arquitectura y los metadatos de un modelo, asegurando que funcione de manera consistente en diferentes software, especialmente con motores de inferencia basados en llama.cpp.

Una característica clave de GGUF es su excelente soporte para la cuantización. La cuantización reduce la precisión numérica de los pesos de un modelo (por ejemplo, de números de 16 bits a 4 bits), lo que reduce drásticamente el tamaño del archivo y el cómputo necesario para ejecutarlo. Los modelos GGUF están disponibles en varios niveles de cuantización (de Q2 a Q8), ofreciendo una gama de equilibrios entre tamaño y calidad.

• Los niveles de cuantización más bajos (como Q2 o Q3) dan como resultado archivos muy pequeños que pueden ejecutarse en hardware con menos RAM, pero pueden tener una ligera caída en la calidad del modelo.
• Los niveles de cuantización más altos (como Q6 o Q8) mantienen una mejor calidad pero requieren más almacenamiento y RAM.

Los casos de uso principales de GGUF incluyen:

• Despliegue local de LLM: Herramientas como Ollama utilizan GGUF para facilitar a los usuarios la ejecución de potentes LLM en sus propios ordenadores.
• Asistentes de IA sin conexión: Muchas aplicaciones utilizan modelos GGUF para proporcionar alternativas locales y privadas a las herramientas de IA basadas en la nube.
• Asistencia de código: Los IDE y editores de código están empezando a utilizar modelos GGUF para la finalización inteligente de código.
• Chatbots locales: Los modelos GGUF se utilizan a menudo para sistemas de IA conversacional privados y con buena capacidad de respuesta.
• Investigación en IA: Su flexibilidad y soporte de cuantización lo hacen popular entre los investigadores para experimentar con LLM en hardware accesible.

Consideraciones de seguridad

Contrariamente a la creencia popular, la biblioteca subyacente GGML (en la que se basa GGUF) ha tenido vulnerabilidades documentadas relacionadas con una "validación insuficiente del archivo de entrada". Estos fallos pueden conducir a "vulnerabilidades de corrupción de memoria potencialmente explotables durante el análisis sintáctico". Se han identificado problemas de seguridad específicos en los que la entrada de usuario no verificada podría causar desbordamientos de heap, permitiendo potencialmente a un atacante ejecutar código malicioso.

Existe una idea errónea común de que un archivo GGUF "no puede contener código" y es "únicamente un archivo de modelo". Sin embargo, un informe de seguridad de Databricks demostró que, si bien el archivo GGUF en sí no contiene código Python ejecutable, un archivo especialmente diseñado puede explotar fallos en el analizador (el software que lee el archivo) para causar corrupción de memoria y lograr la ejecución de código.

Para reducir estos riesgos, lo mejor es:

• Utilizar modelos y herramientas de fuentes conocidas y reputadas (como Koboldcpp).
• Ejecutar los LLM en entornos aislados (como contenedores de Docker).
• Para tareas de alta sensibilidad, considerar el uso de una máquina dedicada sin acceso a internet.

Desventajas

Una de las principales desventajas de GGUF es que la mayoría de los modelos se desarrollan primero en otros frameworks (como PyTorch) y deben convertirse al formato GGUF. Este proceso de conversión no siempre es fácil y es posible que algunos modelos no sean totalmente compatibles con las herramientas compatibles con GGUF. Además, modificar o ajustar un modelo después de que esté en formato GGUF generalmente "no es sencillo".

Aunque GGUF está diseñado para una carga rápida y un uso eficiente de la VRAM, la velocidad de inferencia real (la rapidez con la que el modelo genera respuestas) a veces puede ser más lenta que la de los modelos no cuantizados. Esto puede ocurrir con niveles de cuantización más bajos debido al trabajo adicional necesario para descuantizar los pesos durante la inferencia. El principal beneficio de rendimiento de GGUF es que permite que los modelos grandes se ejecuten en hardware de consumo ahorrando VRAM, no que necesariamente los haga más rápidos.

La característica definitoria de GGUF es su profunda integración con la cuantización, que permite que potentes LLM se ejecuten en "hardware de consumo" con VRAM limitada. Esto ayuda a democratizar el acceso a la IA. Sin embargo, esta eficiencia implica contrapartidas. Si bien la cuantización hace que los modelos sean más pequeños, los niveles más bajos pueden reducir ligeramente la calidad del modelo. Además, la velocidad de inferencia a veces puede ser más lenta que con los modelos no cuantizados, especialmente si la versión no cuantizada cabe completamente en la VRAM.

El beneficio de "velocidad" de GGUF generalmente se refiere a una carga más rápida y a la capacidad de ejecutar un modelo más grande en hardware limitado, en lugar de al rendimiento bruto. GGUF captura perfectamente la tendencia de "democratización de la IA" al hacer que los modelos avanzados sean accesibles para más personas. Esto requiere que los usuarios equilibren la calidad del modelo con las limitaciones de su hardware. La disponibilidad de múltiples niveles de cuantización permite a los usuarios adaptar los modelos a sus necesidades específicas, lo que es clave para la popularidad del formato en la comunidad de IA local.

4. Análisis comparativo de formatos

La selección de un formato de serialización de modelo apropiado es una decisión estratégica que depende de equilibrar varios factores, incluyendo la seguridad, el rendimiento, la eficiencia de los recursos, la interoperabilidad y el contexto específico de la aplicación. La siguiente tabla proporciona una visión general comparativa de Safetensors, CKPT, ONNX y GGUF a través de estas dimensiones críticas.

Característica / Formato	Safetensors	CKPT (.pt/.pth)	ONNX	GGUF
Propósito principal	Almacenamiento seguro y rápido de tensores para modelos de aprendizaje profundo	Checkpoints de entrenamiento, parámetros de modelo, preservación de estado	Interoperabilidad entre frameworks, despliegue en hardware diverso	Almacenamiento eficiente de LLM, inferencia local optimizada en hardware de consumo
Perfil de seguridad	Alto (sin ejecución de código arbitrario por diseño)	Bajo (ejecución de código arbitrario a través de la deserialización de Pickle)	Moderado (sin ejecución de código arbitrario, pero posibles puertas traseras arquitectónicas)	Moderado (vulnerabilidades en la biblioteca subyacente, pero el archivo en sí no es código Python ejecutable)
Velocidad de carga	Muy rápida ("zero-copy", carga perezosa)	Varía (puede ser más lento que Safetensors debido a la carga completa)	Rápida (runtime optimizado, optimizaciones de grafos)	Rápida (mmap, eficiente para LLMs)
Uso de memoria	Eficiente (carga perezosa, carga parcial)	Puede ser alto (carga todo el grafo de objetos)	Eficiente (optimizaciones de runtime)	Muy eficiente (cuantización, ahorro de VRAM)
Espacio en disco	Eficiente (compresión, solo tensores)	Varía (puede ser grande, incluye el estado completo)	Eficiente (formato Protobuf)	Muy eficiente (cuantización, compresión avanzada)
Soporte de cuantización	Sí, pero menos flexible que GGUF (dependiente de PyTorch)	Sí (dependiente del framework)	Soporte nativo limitado (descompone tensores)	Robusto (múltiples niveles, Q2-Q8, variantes especializadas)
Portabilidad	Alta (entre diferentes lenguajes de programación)	Baja (fuertemente acoplado a frameworks específicos)	Muy alta (entre frameworks, multiplataforma, hardware diverso)	Alta (especialmente para el ecosistema llama.cpp)
Aplicaciones principales	Compartición segura de modelos, formato por defecto en Hugging Face	Entrenamiento, ajuste fino, investigación, guardado de modelos	Despliegue en producción, móvil/edge, interoperabilidad	Inferencia local de LLM, hardware de consumo, aplicaciones de chat
Ventaja clave	Seguridad por diseño, carga rápida, bajo consumo de memoria	Preservación del estado de entrenamiento, reproducibilidad detallada	Despliegue universal, optimización en tiempo de ejecución, independencia del framework	Eficiencia de LLM en hardware de consumo, cuantización flexible
Desventaja clave	Requiere un analizador JSON para los metadatos en C++	Riesgo de ejecución de código arbitrario, archivos de gran tamaño	Complejidad para capas personalizadas, cuantización nativa limitada	A menudo requiere conversión, posible ralentización de la inferencia con cuantizaciones bajas

5. Conclusión

El mundo de los formatos de modelos de aprendizaje automático está en constante evolución, impulsado por la necesidad de una mayor seguridad, rendimiento e interoperabilidad. Los formatos tradicionales, como los archivos CKPT basados en pickle, eran flexibles para la investigación pero introducían graves riesgos de seguridad al permitir la ejecución de código arbitrario. Esto ha llevado al desarrollo y la adopción de formatos más nuevos y seguros.

Safetensors es un ejemplo destacado de este cambio. Al separar los datos del código y utilizar técnicas de carga eficientes, ofrece una alternativa segura y de alto rendimiento para compartir modelos de aprendizaje profundo, especialmente en el ecosistema de Hugging Face. Sus dobles beneficios de seguridad y velocidad lo han convertido en una opción popular en los flujos de trabajo de IA modernos.

ONNX resuelve el gran problema de la incompatibilidad entre frameworks. Al representar los modelos como grafos computacionales abstractos, permite que se desplieguen en diferentes hardware y software. Aunque ONNX evita la ejecución de código arbitrario que se ve en pickle, tiene sus propias preocupaciones de seguridad, como las puertas traseras arquitectónicas, que requieren diferentes medidas de protección.

GGUF es una solución especializada para ejecutar modelos de lenguaje grandes en hardware de consumo. Sus potentes características de cuantización reducen drásticamente el tamaño del modelo y el uso de memoria, haciendo que los potentes LLM sean accesibles para más personas. Sin embargo, esta eficiencia a veces puede resultar en velocidades de inferencia más lentas, y sus bibliotecas subyacentes han mostrado vulnerabilidades que requieren que los usuarios sean cautelosos.

En última instancia, el mejor formato depende del contexto específico.

• Safetensors es la mejor opción para compartir de forma segura y eficiente modelos de aprendizaje profundo.
• ONNX es ideal para desplegar modelos en diferentes frameworks y hardware.
• GGUF ofrece una eficiencia inigualable para ejecutar modelos de lenguaje grandes en dispositivos locales con recursos limitados.

Aunque los formatos CKPT tradicionales siguen siendo útiles para guardar el progreso del entrenamiento en entornos controlados, están siendo reemplazados por alternativas más seguras para la distribución pública. A medida que el campo de la IA madura, el desarrollo continuo de estos formatos especializados será esencial para avanzar en el poder y el alcance del aprendizaje automático.