Safetensors, CKPT, ONNX, GGUF, dan Format Model AI Penting Lainnya [2025]

Pertumbuhan kecerdasan buatan (AI) dan machine learning (ML) telah menciptakan kebutuhan krusial akan metode untuk menyimpan dan mendistribusikan model yang efisien, aman, dan kompatibel dengan berbagai sistem. Seiring dengan semakin kompleksnya model dan penggunaannya dalam berbagai situasi, pemilihan format serialisasi menjadi keputusan kunci. Pilihan ini memengaruhi performa, penggunaan sumber daya, dan keamanan sistem AI.

Laporan ini mengkaji format-format serialisasi model terkemuka, termasuk Safetensors, CKPT, ONNX, dan GGUF. Laporan ini menyoroti fitur-fitur unik, penggunaan umum, dan perbandingan antara format-format tersebut.

1. Pengantar Serialisasi Model dalam AI/ML

Serialisasi model adalah proses menyimpan model machine learning yang telah dilatih ke dalam sebuah file. File ini kemudian dapat disimpan, dibagikan, atau dimuat kembali untuk penggunaan di kemudian hari, seperti untuk melakukan prediksi, melanjutkan pelatihan, atau melakukan analisis. Kemampuan ini sangat penting untuk seluruh siklus hidup AI/ML, dari penelitian dan pengembangan hingga penerapan skala besar.

Peran Penting Format Model dalam Siklus Hidup AI/ML

Menyimpan model ke dalam format standar sangat penting karena beberapa alasan:

• Reprodusibilitas: Memungkinkan eksperimen penelitian untuk direplikasi dan divalidasi dengan tepat.
• Kolaborasi: Format standar memudahkan tim untuk berbagi model, memungkinkan mereka bekerja sama dan mengintegrasikan model ke dalam sistem yang lebih besar.
• Deployment: Serialisasi mengubah model yang telah dilatih menjadi file portabel yang dapat dimuat dan dijalankan di berbagai lingkungan, dari server cloud hingga perangkat edge.
• Transfer Learning: Memungkinkan penggunaan model yang telah dilatih sebelumnya sebagai dasar untuk tugas-tugas baru, yang menghemat waktu pelatihan dan data secara signifikan.

Tinjauan Tantangan yang Diatasi oleh Format Modern

Seiring dengan kemajuan machine learning, format serialisasi modern telah berevolusi untuk mengatasi beberapa tantangan utama:

• Keamanan: Kekhawatiran utama adalah risiko keamanan dalam metode tradisional, terutama yang menggunakan modul pickle Python. Metode ini dapat memungkinkan kode berbahaya berjalan saat model dimuat, menciptakan ancaman keamanan yang parah jika model berasal dari sumber yang tidak tepercaya.
• Performa: Model-model besar dan kompleks saat ini memerlukan pemuatan yang sangat cepat dan manajemen memori yang efisien. Ini sangat penting untuk perangkat dengan sumber daya terbatas, seperti ponsel, dan untuk aplikasi yang membutuhkan respons cepat.
• Portabilitas dan Interoperabilitas: Dunia machine learning menggunakan banyak kerangka kerja yang berbeda (seperti PyTorch, TensorFlow, dan JAX). Diperlukan format yang memungkinkan model untuk berpindah dengan mudah di antara kerangka kerja ini dan berjalan di berbagai perangkat keras (GPU, TPU) tanpa pengerjaan ulang yang besar.

Dalam beberapa tahun terakhir, komunitas AI telah beralih ke format yang lebih efisien dan aman seperti GGUF dan Safetensors, yang mencerminkan upaya kolektif untuk mengatasi masalah-masalah ini.

Metode awal untuk menyimpan model ML, seperti penggunaan modul pickle Python oleh PyTorch untuk file .pt dan .pth-nya, dipilih karena kemudahan penggunaannya. Metode ini dapat dengan mudah menyimpan objek Python yang kompleks, termasuk desain model dan status pelatihannya (seperti optimizer). Meskipun ini nyaman untuk penelitian di lingkungan Python, hal ini menciptakan celah keamanan yang besar. Modul pickle dirancang sedemikian rupa sehingga memungkinkan untuk menjalankan kode apa pun yang disematkan di dalam file selama proses pemuatan. Ini berarti memuat model yang tampaknya tidak berbahaya dari sumber yang tidak tepercaya dapat membahayakan seluruh sistem.

Penciptaan format seperti Safetensors, bersama dengan meningkatnya penggunaan ONNX dan GGUF, merupakan respons langsung terhadap risiko keamanan ini, serta kebutuhan akan performa dan portabilitas yang lebih baik. Safetensors, misalnya, dibuat khusus untuk mencegah kode berbahaya berjalan. Ini menunjukkan bahwa seiring dengan matangnya bidang machine learning dan AI beralih dari penelitian ke aplikasi dunia nyata, keamanan dan efisiensi bukan lagi hal yang dipikirkan belakangan, melainkan prinsip inti dalam merancang format baru. Perubahan ini mewakili pergeseran yang diperlukan dari fleksibilitas yang berfokus pada penelitian ke keamanan dan kekokohan tingkat produksi, memperbaiki "utang teknis" dari metode lama yang lebih permisif.

Format bawaan kerangka kerja, seperti .pt/.pth untuk PyTorch dan .ckpt/.h5 untuk TensorFlow/Keras, terintegrasi erat dengan kerangka kerja spesifik mereka. Meskipun ini membuat mereka efisien dalam satu ekosistem, hal ini menyebabkan masalah interoperabilitas yang signifikan. Model yang dilatih dalam satu kerangka kerja tidak dapat dengan mudah digunakan di kerangka kerja lain tanpa konversi yang kompleks atau memelihara sistem terpisah untuk setiap kerangka kerja. Hal ini menyebabkan alur kerja pengembangan dan deployment yang terputus.

Format Open Neural Network Exchange (ONNX) diciptakan untuk mendobrak batasan-batasan ini. Format ini menyediakan standar "lintas platform" dan "netral vendor" untuk model. ONNX mencapai ini dengan mendefinisikan struktur model (grafik komputasinya) secara abstrak yang tidak bergantung pada satu kerangka kerja pun. Demikian pula, GGUF, meskipun awalnya dibuat untuk proyek llama.cpp, juga berfokus pada peningkatan kompatibilitas untuk model bahasa besar (LLM) di berbagai platform.

Keragaman format saat ini mencerminkan ketegangan inti dalam industri ML: keinginan untuk fitur spesifik kerangka kerja selama pengembangan (misalnya, grafik dinamis PyTorch untuk fleksibilitas penelitian) versus kebutuhan untuk deployment yang universal, efisien, dan aman. Ketegangan ini berarti bahwa berbagai format akan terus ada, membuat alat konversi dan pipeline MLOps canggih menjadi semakin penting untuk menghubungkan pengembangan model dengan deployment. Format yang berbeda akan terus digunakan untuk tahapan spesifik dari siklus hidup ML berdasarkan kekuatan unik masing-masing.

2. Memahami Safetensors

Safetensors adalah langkah maju yang signifikan dalam serialisasi model, dirancang khusus untuk memperbaiki masalah keamanan dan efisiensi dari metode penyimpanan model tradisional.

Definisi dan Prinsip Desain Inti

Safetensors adalah format serialisasi yang modern, aman, dan cepat untuk model deep learning, yang diciptakan oleh Hugging Face. Tujuan utamanya adalah menyediakan cara yang aman untuk menyimpan dan berbagi tensor—larik multidimensi yang merupakan blok penyusun data dasar dari machine learning. Format ini dirancang agar lebih aman dan lebih cepat daripada format lama seperti pickle.

Prinsip inti dari Safetensors adalah pemisahan ketat antara bobot model (tensor) dan kode yang dapat dijalankan. Desain ini secara langsung mengatasi celah keamanan yang ditemukan dalam metode serialisasi lama.

Fitur Utama

• Zero-copy dan Lazy Loading: Kunci performa Safetensors adalah kemampuan "zero-copy". Ini memungkinkan data model untuk dipetakan langsung dari disk ke memori tanpa membuat salinan tambahan, yang menghemat memori dan mempercepat pemuatan. Format ini juga mendukung "lazy loading", yang berarti hanya bagian yang diperlukan dari model besar yang dimuat ke RAM saat dibutuhkan. Ini sangat berguna untuk model yang sangat besar atau sistem dengan memori terbatas.
• Penanganan Metadata Terstruktur: Setiap file Safetensors menyertakan bagian metadata terpisah dalam format JSON. Bagian ini mencantumkan semua tensor dalam model dengan detail seperti bentuk, tipe data, dan namanya. Metadata menunjuk ke tempat data tensor yang sebenarnya disimpan secara terpisah dalam file, yang meningkatkan keterbacaan dan keamanan.
• Penyimpanan Data Khusus Tensor: Fitur keamanan terpenting dari Safetensors adalah bahwa format ini dirancang untuk hanya berisi "data tensor mentah dan metadata terkait." Berdasarkan arsitekturnya, format ini "tidak memungkinkan serialisasi kode Python yang sembarangan." Pilihan desain fundamental ini menghilangkan risiko menjalankan kode berbahaya saat memuat model.
• Dukungan Kuantisasi: Safetensors dapat menangani tensor terkuantisasi, yang membantu membuat model lebih kecil dan menggunakan lebih sedikit memori. Namun, dukungan kuantisasinya "tidak sefleksibel GGUF" karena bergantung pada fitur yang disediakan oleh kerangka kerja PyTorch.

Manfaat Utama

• Peningkatan Keamanan (Mengurangi Eksekusi Kode Sembarangan): Ini adalah keuntungan terbesar Safetensors. Berdasarkan desainnya, format ini sepenuhnya mencegah kode Python disimpan dalam file. Ini menghilangkan risiko keamanan paling serius yang ditemukan dalam format berbasis pickle: menjalankan kode berbahaya saat model dimuat. Hal ini menjadikan Safetensors pilihan terbaik untuk berbagi dan menggunakan model dari sumber publik atau tidak tepercaya. Format ini juga menyertakan fitur keamanan lain seperti "teknik enkripsi canggih" dan kontrol akses untuk mencegah perusakan data.
• Optimisasi Performa: Penggunaan zero-copy dan lazy loading menghasilkan "waktu pemuatan yang lebih cepat dan penggunaan memori yang lebih rendah." Tolok ukur menunjukkan format ini jauh "lebih cepat" daripada pickle dan bisa "76,6X lebih cepat di CPU dan 2X lebih cepat di GPU dibandingkan dengan metode penyimpanan PyTorch tradisional."
• Portabilitas: Format ini dirancang agar portabel, artinya dapat berfungsi di berbagai bahasa pemrograman. Ini mempermudah berbagi dan menggunakan model dalam berbagai sistem perangkat lunak.
• Integrasi Mulus: Safetensors memiliki "integrasi yang mulus dengan kerangka kerja dan pustaka machine learning yang ada." Ini memungkinkan pengembang untuk mengadopsi format yang lebih aman ini dengan mudah, tanpa membuat perubahan besar pada alur kerja mereka saat ini.

Perbandingan dengan Serialisasi Tradisional (misalnya, Pickle)

Modul pickle Python, yang digunakan untuk file .pt dan .pth PyTorch, pada dasarnya tidak aman. Modul ini memungkinkan kode apa pun untuk disembunyikan di dalam file yang diserialisasi dan dijalankan secara otomatis saat file dimuat. Ini adalah kerentanan yang terkenal dan parah, terutama saat menggunakan model yang diunduh dari situs web publik. Meskipun alat seperti picklescan dapat mendeteksi beberapa pola berbahaya, alat tersebut tidak sepenuhnya andal dan tidak dapat menjamin keamanan.

Safetensors diciptakan khusus untuk menyelesaikan masalah keamanan ini. Dengan hanya mengizinkan data tensor mentah dan metadata terstruktur dalam file, format ini menghilangkan kemungkinan eksekusi kode berbahaya. Selain keamanan, Safetensors juga menawarkan performa yang jauh lebih baik. Desainnya untuk pemetaan memori dan lazy loading menghasilkan pemuatan yang jauh lebih cepat dan penggunaan memori yang lebih efisien dibandingkan dengan pickle, yang biasanya memuat seluruh model ke dalam memori sekaligus.

Celah keamanan dalam pickle Python berarti bahwa mengunduh file .pt atau .pth dari sumber yang tidak tepercaya bukan hanya mengunduh data; itu seperti menjalankan program yang berpotensi berbahaya. Diketahui bahwa "tidak ada solusi yang 100% ampuh untuk memverifikasi keamanan file pickle tanpa eksekusi." Hal ini membebankan tugas pemeriksaan keamanan file kepada pengguna, yang sulit dan tidak dapat diandalkan.

Safetensors mengubah dinamika ini dengan merancang ulang format itu sendiri untuk mencegah kode berbahaya disertakan sejak awal. Format ini mengalihkan tanggung jawab keamanan dari proses verifikasi yang sulit oleh pengguna ke keamanan bawaan format. Ini menandai pergeseran besar dalam komunitas AI sumber terbuka dari pendekatan "verifikasi, lalu percaya" ke model "percaya berdasarkan desain". Perubahan ini mengakui bahwa hampir tidak mungkin untuk memindai setiap kemungkinan ancaman dalam file yang kompleks. Dengan memblokir vektor serangan (eksekusi kode sembarangan), Safetensors membuat berbagi model secara luas menjadi lebih aman, mendorong kolaborasi dan mempermudah lebih banyak orang untuk menggunakan model yang telah dilatih sebelumnya. Prinsip "percaya berdasarkan desain" ini sangat penting untuk pertumbuhan dan keamanan seluruh ekosistem AI.

Walaupun Safetensors diciptakan terutama untuk alasan keamanan (untuk memperbaiki kerentanan pickle), format ini juga memberikan peningkatan performa yang besar, seperti pemuatan yang lebih cepat, penggunaan memori yang lebih rendah, dan operasi zero-copy. Peningkatan performa ini bukan hanya efek samping; mereka adalah hasil langsung dari desain Safetensors yang dioptimalkan, yang menggunakan pemetaan memori dan lazy loading untuk menangani data secara efisien. Hal ini membuatnya secara alami lebih efisien untuk model-model besar.

Kombinasi keamanan yang ditingkatkan dan peningkatan performa yang signifikan ini telah menjadi pendorong utama adopsi luasnya. Jika Safetensors hanya menawarkan keamanan yang lebih baik, adopsinya mungkin akan lebih lambat, terutama di kalangan pengguna yang tidak langsung fokus pada keamanan. Namun, manfaat performa yang jelas dan terukur memberikan alasan kuat bagi semua orang untuk beralih, mempercepat integrasinya ke dalam platform-platform besar seperti Hugging Face. Ini menunjukkan bahwa dalam rekayasa AI, sebuah teknologi sering kali perlu menawarkan keunggulan keamanan dan performa untuk dapat diterima secara cepat dan luas oleh industri.

3. Tinjauan Format Model Utama

Selain Safetensors, beberapa format lain penting dalam dunia machine learning, masing-masing dengan fitur dan kasus penggunaannya sendiri.

3.1. CKPT (Checkpoints)

Checkpoint AI bukanlah jenis file tunggal, melainkan potret (snapshot) dari keadaan model yang disimpan pada titik tertentu selama pelatihan. Checkpoint sangat penting untuk menyimpan kemajuan selama proses pelatihan yang panjang.

Karakteristik dan Kasus Penggunaan Umum

Sebuah checkpoint biasanya berisi parameter yang telah dipelajari oleh model, seperti bobot dan biasnya. Checkpoint juga dapat menyimpan informasi penting lainnya yang diperlukan untuk melanjutkan pelatihan, seperti status optimizer, nomor epoch saat ini, dan jadwal laju pembelajaran. Ekstensi file untuk checkpoint bervariasi menurut kerangka kerja. Untuk PyTorch, biasanya .pt atau .pth, sedangkan untuk TensorFlow/Keras, biasanya .ckpt atau .h5.

Manfaat utama file CKPT meliputi:

• Reprodusibilitas: Memastikan model berperilaku konsisten saat dimuat kembali, yang penting untuk memvalidasi penelitian dan menjaga performa yang andal.
• Kolaborasi: Mudah dibagikan, memungkinkan pengembang untuk mereplikasi hasil atau membangun di atas pekerjaan yang sudah ada.
• Fleksibilitas: Format .pt/.pth dari PyTorch sangat fleksibel, membuatnya mudah untuk menyimpan dan memuat model untuk tujuan penelitian.

Kasus penggunaan umum untuk file CKPT meliputi:

• Melanjutkan Pelatihan: Melanjutkan sesi pelatihan yang terganggu, yang menghemat waktu dan sumber daya komputasi yang signifikan.
• Fine-Tuning: Menggunakan model yang telah dilatih sebelumnya sebagai titik awal untuk pelatihan pada dataset baru yang lebih spesifik.
• Evaluasi Model: Menguji performa model pada berbagai tahap pelatihan tanpa harus melatihnya kembali.
• Inferensi: Memuat model yang telah dilatih sepenuhnya ke dalam sistem produksi untuk membuat prediksi.
• Penelitian dan Eksperimen: Menganalisis bagaimana model berevolusi dari waktu ke waktu dan menyetel parameternya secara sistematis.
• Transfer Learning: Berfungsi sebagai titik awal yang kuat untuk tugas-tugas terkait, yang mengurangi waktu pelatihan dan kebutuhan data.
• Pemulihan Bencana: Bertindak sebagai cadangan untuk melanjutkan pekerjaan setelah terjadi kegagalan selama proses pelatihan yang panjang.

Pertimbangan Keamanan

Risiko keamanan terbesar dengan file CKPT, terutama format .pt dan .pth dari PyTorch, berasal dari ketergantungannya pada modul pickle Python. Ini berarti file-file ini dapat dirancang untuk mengandung dan menjalankan kode Python berbahaya saat dimuat (jika fungsi torch.load digunakan tanpa pengaturan weights_only=True). Kerentanan ini (CWE-502: Deserialisasi Data yang Tidak Tepercaya) dapat memiliki konsekuensi serius, seperti pencurian data, perubahan perilaku model, atau bahkan pengambilalihan sistem secara penuh.

Industri telah mengakui risiko ini, dan Safetensors telah muncul sebagai pilihan yang lebih aman. Seperti yang dicatat, "Sebagian besar checkpoint AI Stable Diffusion disimpan dalam format seperti .ckpt atau .safetensors... .safetensors adalah alternatif yang lebih aman, yang dirancang untuk mencegah eksekusi kode berbahaya." Ini menunjukkan tren yang jelas menuju format yang lebih aman untuk berbagi model.

CKPT, terutama dalam format .pt/.pth PyTorch, dikenal karena "sangat fleksibel." Fleksibilitas ini memungkinkan mereka untuk menyimpan tidak hanya bobot model tetapi juga status optimizer dan bahkan kelas Python kustom, yang sangat berguna untuk melanjutkan pelatihan dengan tepat.

Namun, fleksibilitas yang sama inilah yang menciptakan kerentanan keamanan. Karena format ini dapat menyimpan objek Python apa pun, penyerang dapat menyembunyikan kode berbahaya di dalam file model. Ketika file dimuat tanpa tindakan pencegahan yang tepat, kode tersebut berjalan. Ini mengilustrasikan trade-off fundamental dalam desain sistem: lebih banyak fleksibilitas sering kali mengarah pada permukaan serangan yang lebih besar dan risiko keamanan yang lebih tinggi.

Solusi industri adalah mengadopsi format seperti Safetensors untuk mendistribusikan model, meskipun format .pt/.pth yang lebih fleksibel masih digunakan untuk pelatihan di lingkungan yang terkontrol. Ini menunjukkan pemahaman yang berkembang bahwa tahapan yang berbeda dari siklus hidup ML memerlukan tingkat keamanan yang berbeda. Kekuatan untuk menyimpan status pelatihan penuh paling baik disimpan dalam lingkungan pengembangan yang tepercaya, sementara berbagi dan deployment memerlukan format dengan jaminan keamanan bawaan.

3.2. ONNX (Open Neural Network Exchange)

ONNX, singkatan dari Open Neural Network Exchange, adalah format standar terbuka untuk model machine learning. Format ini dirancang untuk memungkinkan model bekerja di berbagai kerangka kerja deep learning.

Karakteristik dan Kasus Penggunaan Utama

File ONNX berisi struktur lengkap model, termasuk urutan operasinya (grafik komputasi), bobot yang telah dipelajari, dan metadata lainnya. Kekuatan utama ONNX adalah bahwa format ini bertindak sebagai penerjemah universal. Model yang dilatih dalam kerangka kerja seperti PyTorch, TensorFlow, atau scikit-learn dapat dikonversi ke format ONNX, memungkinkan pendekatan "latih sekali, terapkan di mana saja".

Tidak seperti format yang hanya menyimpan bobot model (seperti Safetensors atau GGUF), ONNX menyertakan grafik komputasi model. Struktur berbasis grafik ini memberikan "fleksibilitas lebih saat mengonversi model antar kerangka kerja yang berbeda." ONNX menawarkan portabilitas yang sangat baik di banyak platform, perangkat, dan akselerator perangkat keras (CPU, GPU, chip AI). Model disimpan dalam format Protobuf, yang merupakan cara yang efisien dan netral platform untuk menyimpan data terstruktur.

Kasus penggunaan utama untuk ONNX meliputi:

• Deployment Lintas Kerangka Kerja: Menjalankan model dalam kerangka kerja atau lingkungan yang berbeda dari tempat model itu dilatih.
• Inferensi Berperforma Tinggi: ONNX Runtime adalah mesin inferensi yang secara otomatis mengoptimalkan model untuk perangkat keras tertentu, sering kali menghasilkan performa yang lebih cepat.
• Deployment di Edge dan Seluler: Jejaknya yang kecil dan runtime yang dioptimalkan menjadikan ONNX pilihan yang baik untuk menjalankan model di perangkat dengan sumber daya terbatas.
• Sistem Produksi: Kekokohan dan portabilitasnya membuatnya populer untuk menerapkan model di lingkungan produksi yang menuntut.

Pertimbangan Keamanan

Risiko keamanan yang halus namun serius dengan model ONNX adalah potensi adanya backdoor arsitektural. Seorang penyerang dapat memodifikasi grafik komputasi model untuk menyertakan jalur tersembunyi yang hanya dipicu oleh input tertentu. Ketika diaktifkan, backdoor ini dapat menyebabkan model menghasilkan output yang berbahaya atau tidak terduga, sambil tetap berperilaku normal pada input standar, sehingga sulit dideteksi. Risiko lain termasuk serangan inversi model (mengekstrak data pelatihan yang sensitif) dan serangan adversarial (menggunakan input berbahaya untuk menipu model).

Untuk mengurangi ancaman ini, beberapa praktik direkomendasikan:

• Menandatangani model ONNX secara digital untuk memastikan model tersebut tidak dirusak.
• Menerapkan model di lingkungan terisolasi, seperti kontainer Docker, dengan keamanan jaringan yang kuat.
• Menggunakan alat pemantauan untuk melacak perilaku model dan mendeteksi anomali.
• Mengikuti praktik keamanan umum terbaik, seperti membersihkan input dan memperbarui perangkat lunak.

ONNX umumnya lebih aman daripada format berbasis pickle karena tidak menjalankan kode sembarangan saat dimuat. Namun, jika model ONNX menggunakan lapisan kustom yang diimplementasikan secara eksternal, lapisan tersebut berpotensi mengandung kode Python berbahaya jika tidak dikelola dengan hati-hati.

Kekurangan

Meskipun ONNX mendukung model terkuantisasi, format ini "tidak secara native mendukung tensor terkuantisasi" semulus GGUF. ONNX memecahnya menjadi tensor integer dan faktor skala terpisah, yang "dapat menyebabkan penurunan kualitas." Mengonversi model dengan lapisan yang kompleks atau kustom yang tidak standar di ONNX juga bisa sulit dan mungkin memerlukan pekerjaan kustom yang dapat memperlambat performa.

Format tradisional berbasis pickle Python (seperti file .pt) menyimpan objek Python, yang dapat mencakup kode yang dapat dijalankan. Ini memperlakukan model sebagai sebuah program. Sebaliknya, ONNX berfokus pada penyimpanan "grafik komputasi" model—representasi yang lebih abstrak dari operasi dan aliran datanya, daripada implementasi kode tertentu.

Pendekatan yang berpusat pada grafik inilah yang memberikan ONNX portabilitas lintas kerangka kerja yang sangat baik dan memungkinkannya dioptimalkan untuk perangkat keras yang berbeda. Dengan mendefinisikan logika model pada tingkat yang lebih tinggi, model menjadi tidak bergantung pada kerangka kerja tempat ia dilatih. Ini adalah pergeseran konseptual yang signifikan, beralih dari implementasi spesifik kerangka kerja ke representasi komputasi yang portabel. Meskipun ini sangat meningkatkan fleksibilitas deployment, ini juga menciptakan masalah keamanan baru, seperti backdoor arsitektural, yang memerlukan strategi keamanan yang berbeda dari yang digunakan untuk format berbasis pickle.

3.3. GGUF (GPT-Generated Unified Format)

GGUF (GPT-Generated Unified Format) adalah format file yang dirancang khusus untuk menyimpan dan menjalankan model bahasa besar (LLM) secara efisien. Ini adalah versi perbaikan dari pendahulunya, GGML, dan bertujuan untuk membuat LLM lebih mudah digunakan, terutama di komputer pribadi.

Karakteristik dan Kasus Penggunaan Utama

GGUF dirancang untuk membuat LLM lebih kecil dan jauh lebih cepat untuk dimuat. Ini sangat penting untuk menjalankan model secara lokal, di mana ruang penyimpanan dan RAM seringkali terbatas. Format ini menggunakan "teknik kompresi canggih" untuk mencapai hal ini. GGUF juga menyediakan cara standar untuk mengemas bobot, arsitektur, dan metadata model, memastikan model bekerja secara konsisten di berbagai perangkat lunak, terutama dengan mesin inferensi berbasis llama.cpp.

Fitur utama GGUF adalah dukungan kuantisasinya yang sangat baik. Kuantisasi mengurangi presisi numerik dari bobot model (misalnya, dari angka 16-bit ke 4-bit), yang secara drastis mengurangi ukuran file dan komputasi yang dibutuhkan untuk menjalankannya. Model GGUF tersedia dalam berbagai tingkat kuantisasi (dari Q2 hingga Q8), menawarkan berbagai trade-off antara ukuran dan kualitas.

• Tingkat kuantisasi yang lebih rendah (seperti Q2 atau Q3) menghasilkan file yang sangat kecil yang dapat berjalan pada perangkat keras dengan RAM lebih sedikit, tetapi mungkin mengalami sedikit penurunan kualitas model.
• Tingkat kuantisasi yang lebih tinggi (seperti Q6 atau Q8) mempertahankan kualitas yang lebih baik tetapi memerlukan lebih banyak penyimpanan dan RAM.

Kasus penggunaan utama untuk GGUF meliputi:

• Deployment LLM Lokal: Alat seperti Ollama menggunakan GGUF untuk memudahkan pengguna menjalankan LLM yang kuat di komputer mereka sendiri.
• Asisten AI Offline: Banyak aplikasi menggunakan model GGUF untuk menyediakan alternatif lokal dan privat untuk alat AI berbasis cloud.
• Bantuan Kode: IDE dan editor kode mulai menggunakan model GGUF untuk penyelesaian kode yang cerdas.
• Chatbot Lokal: Model GGUF sering digunakan untuk sistem AI percakapan yang privat dan responsif.
• Penelitian AI: Fleksibilitas dan dukungan kuantisasinya membuatnya populer di kalangan peneliti untuk bereksperimen dengan LLM pada perangkat keras yang terjangkau.

Pertimbangan Keamanan

Berlawanan dengan kepercayaan umum, pustaka GGML yang mendasarinya (yang menjadi dasar GGUF) telah memiliki kerentanan yang terdokumentasi terkait dengan "validasi yang tidak memadai pada file input." Celah ini dapat menyebabkan "kerentanan kerusakan memori yang berpotensi dapat dieksploitasi selama proses parsing." Masalah keamanan spesifik telah diidentifikasi di mana input pengguna yang tidak diperiksa dapat menyebabkan heap overflow, yang berpotensi memungkinkan penyerang menjalankan kode berbahaya.

Ada kesalahpahaman umum bahwa file GGUF "tidak dapat berisi kode" dan "hanyalah file model." Namun, sebuah laporan keamanan dari Databricks menunjukkan bahwa meskipun file GGUF itu sendiri tidak berisi kode Python yang dapat dieksekusi, file yang dibuat khusus dapat mengeksploitasi celah di parser (perangkat lunak yang membaca file) untuk menyebabkan kerusakan memori dan mencapai eksekusi kode.

Untuk mengurangi risiko ini, sebaiknya:

• Gunakan model dan alat dari sumber yang terkenal dan bereputasi baik (seperti Koboldcpp).
• Jalankan LLM di lingkungan terisolasi (seperti kontainer Docker).
• Untuk tugas yang sangat sensitif, pertimbangkan untuk menggunakan mesin khusus tanpa akses internet.

Kekurangan

Kelemahan utama GGUF adalah bahwa sebagian besar model pertama kali dikembangkan dalam kerangka kerja lain (seperti PyTorch) dan harus dikonversi ke format GGUF. Proses konversi ini tidak selalu mudah, dan beberapa model mungkin tidak didukung sepenuhnya oleh alat yang kompatibel dengan GGUF. Selain itu, memodifikasi atau melakukan fine-tuning pada model setelah berada dalam format GGUF umumnya "tidak mudah."

Walaupun GGUF dirancang untuk pemuatan cepat dan penggunaan VRAM yang efisien, kecepatan inferensi sebenarnya (seberapa cepat model menghasilkan respons) terkadang bisa lebih lambat daripada model yang tidak terkuantisasi. Ini bisa terjadi pada tingkat kuantisasi yang lebih rendah karena pekerjaan tambahan yang diperlukan untuk dekuantisasi bobot selama inferensi. Manfaat performa utama GGUF adalah memungkinkan model besar berjalan di perangkat keras konsumen dengan menghemat VRAM, bukan berarti membuatnya lebih cepat.

Fitur GGUF yang paling menonjol adalah integrasi mendalamnya dengan kuantisasi, yang memungkinkan LLM yang kuat untuk berjalan pada "perangkat keras kelas konsumen" dengan VRAM terbatas. Ini membantu mendemokratisasi akses ke AI. Namun, efisiensi ini melibatkan trade-off. Meskipun kuantisasi membuat model lebih kecil, tingkat yang lebih rendah dapat sedikit mengurangi kualitas model. Juga, kecepatan inferensi terkadang bisa lebih lambat daripada dengan model yang tidak terkuantisasi, terutama jika versi yang tidak terkuantisasi muat seluruhnya di VRAM.

Manfaat "kecepatan" GGUF biasanya mengacu pada pemuatan yang lebih cepat dan kemampuan untuk menjalankan model yang lebih besar pada perangkat keras terbatas, daripada performa mentah. GGUF secara sempurna menangkap tren "demokratisasi AI" dengan membuat model canggih dapat diakses oleh lebih banyak orang. Hal ini mengharuskan pengguna untuk menyeimbangkan kualitas model dengan keterbatasan perangkat keras mereka. Ketersediaan beberapa tingkat kuantisasi memungkinkan pengguna untuk menyesuaikan model dengan kebutuhan spesifik mereka, yang merupakan kunci popularitas format ini di komunitas AI lokal.

4. Analisis Perbandingan Format

Pemilihan format serialisasi model yang tepat adalah keputusan strategis yang bergantung pada penyeimbangan berbagai faktor, termasuk keamanan, performa, efisiensi sumber daya, interoperabilitas, dan konteks aplikasi spesifik. Tabel di bawah ini memberikan gambaran perbandingan Safetensors, CKPT, ONNX, dan GGUF di berbagai dimensi penting ini.

Fitur / Format	Safetensors	CKPT (.pt/.pth)	ONNX	GGUF
Tujuan Utama	Penyimpanan tensor yang aman dan cepat untuk model deep learning	Checkpoint pelatihan, parameter model, pelestarian status	Interoperabilitas lintas kerangka kerja, deployment di berbagai perangkat keras	Penyimpanan LLM yang efisien, inferensi lokal yang dioptimalkan di perangkat keras konsumen
Profil Keamanan	Tinggi (tidak ada eksekusi kode sembarangan berdasarkan desain)	Rendah (eksekusi kode sembarangan melalui deserialisasi Pickle)	Sedang (tidak ada eksekusi kode sembarangan, tetapi backdoor arsitektural mungkin terjadi)	Sedang (kerentanan pustaka yang mendasarinya, tetapi file itu sendiri bukan kode Python yang dapat dieksekusi)
Kecepatan Pemuatan	Sangat Cepat (zero-copy, lazy loading)	Bervariasi (bisa lebih lambat dari Safetensors karena memuat penuh)	Cepat (runtime yang dioptimalkan, optimisasi grafik)	Cepat (mmap, efisien untuk LLM)
Penggunaan Memori	Efisien (lazy loading, pemuatan sebagian)	Bisa tinggi (memuat seluruh grafik objek)	Efisien (optimisasi runtime)	Sangat Efisien (kuantisasi, penghematan VRAM)
Ukuran di Disk	Efisien (kompresi, hanya tensor)	Bervariasi (bisa besar, mencakup status penuh)	Efisien (format Protobuf)	Sangat Efisien (kuantisasi, kompresi canggih)
Dukungan Kuantisasi	Ya, tetapi kurang fleksibel dibanding GGUF (tergantung PyTorch)	Ya (tergantung kerangka kerja)	Dukungan native terbatas (mengurai tensor)	Kuat (beberapa level, Q2-Q8, varian khusus)
Portabilitas	Tinggi (di berbagai bahasa pemrograman)	Rendah (terikat erat dengan kerangka kerja tertentu)	Sangat Tinggi (lintas kerangka kerja, lintas platform, beragam perangkat keras)	Tinggi (terutama untuk ekosistem llama.cpp)
Aplikasi Utama	Berbagi model secara aman, default Hugging Face	Pelatihan, fine-tuning, penelitian, penyimpanan model	Deployment produksi, seluler/edge, interoperabilitas	Inferensi LLM lokal, perangkat keras konsumen, aplikasi obrolan
Keunggulan Utama	Keamanan berdasarkan desain, pemuatan cepat, jejak memori rendah	Pelestarian status pelatihan, reprodusibilitas detail	Deployment universal, optimisasi runtime, agnostik terhadap kerangka kerja	Efisiensi LLM di perangkat keras konsumen, kuantisasi fleksibel
Kelemahan Utama	Memerlukan parser JSON untuk metadata di C++	Risiko eksekusi kode sembarangan, ukuran file besar	Kompleksitas untuk lapisan kustom, kuantisasi native terbatas	Sering memerlukan konversi, potensi perlambatan inferensi dengan kuantisasi lebih rendah

5. Kesimpulan

Dunia format model machine learning terus berkembang, didorong oleh kebutuhan akan keamanan, performa, dan interoperabilitas yang lebih baik. Format tradisional, seperti file CKPT berbasis pickle, fleksibel untuk penelitian tetapi memperkenalkan risiko keamanan serius dengan mengizinkan eksekusi kode sembarangan. Hal ini telah mendorong pengembangan dan adopsi format yang lebih baru dan lebih aman.

Safetensors adalah contoh utama dari pergeseran ini. Dengan memisahkan data dari kode dan menggunakan teknik pemuatan yang efisien, format ini menawarkan alternatif yang aman dan beperforma tinggi untuk berbagi model deep learning, terutama di ekosistem Hugging Face. Manfaat gandanya, yaitu keamanan dan kecepatan, telah menjadikannya pilihan populer dalam alur kerja AI modern.

ONNX menyelesaikan masalah utama ketidakcocokan kerangka kerja. Dengan merepresentasikan model sebagai grafik komputasi abstrak, ONNX memungkinkan model untuk diterapkan di berbagai perangkat keras dan perangkat lunak. Meskipun ONNX mencegah eksekusi kode sembarangan seperti yang terlihat pada pickle, format ini memiliki masalah keamanannya sendiri, seperti backdoor arsitektural, yang memerlukan langkah-langkah perlindungan yang berbeda.

GGUF adalah solusi khusus untuk menjalankan model bahasa besar pada perangkat keras konsumen. Fitur kuantisasinya yang kuat secara drastis mengurangi ukuran model dan penggunaan memori, membuat LLM yang kuat dapat diakses oleh lebih banyak orang. Namun, efisiensi ini terkadang dapat menghasilkan kecepatan inferensi yang lebih lambat, dan pustaka yang mendasarinya telah menunjukkan kerentanan yang mengharuskan pengguna untuk berhati-hati.

Pada akhirnya, format terbaik bergantung pada konteks spesifik.

• Safetensors adalah pilihan utama untuk berbagi model deep learning secara aman dan efisien.
• ONNX ideal untuk menerapkan model di berbagai kerangka kerja dan perangkat keras.
• GGUF menawarkan efisiensi yang tak tertandingi untuk menjalankan model bahasa besar di perangkat lokal dengan sumber daya terbatas.

Sementara format CKPT tradisional masih berguna untuk menyimpan kemajuan pelatihan di lingkungan yang terkontrol, format-format tersebut digantikan oleh alternatif yang lebih aman untuk distribusi publik. Seiring dengan matangnya bidang AI, pengembangan berkelanjutan dari format-format khusus ini akan sangat penting untuk memajukan kekuatan dan jangkauan machine learning.