Dalam dunia kecerdasan buatan (AI), efisiensi adalah kunci. Pruna AI, startup asal Eropa yang fokus pada pengembangan algoritma kompresi untuk model AI, baru saja membuat langkah besar dengan merilis kerangka optimisasi mereka sebagai open source. Langkah ini diprediksi akan membawa perubahan signifikan dalam cara pengembang dan perusahaan memanfaatkan teknologi AI.
Pruna AI: Solusi Efisiensi untuk Model AI
Pruna AI telah mengembangkan kerangka kerja yang menggabungkan berbagai metode efisiensi, seperti caching, pruning, quantization, dan distillation. Menurut John Rachwan, co-founder dan CTO Pruna AI, kerangka ini tidak hanya memampatkan model AI, tetapi juga menstandarisasi penyimpanan, pemuatan, dan evaluasi model setelah kompresi. “Kami seperti Hugging Face, tapi fokus pada metode efisiensi,” ujarnya dalam wawancara dengan TechCrunch.
Metode distillation, misalnya, telah digunakan oleh raksasa AI seperti OpenAI untuk menciptakan versi lebih cepat dari model andalannya, seperti GPT-4 Turbo. Distillation bekerja dengan cara “mengajar” model kecil (student) menggunakan output dari model besar (teacher). Hasilnya, model student dapat meniru perilaku model teacher dengan akurasi tinggi, namun dengan ukuran dan kecepatan yang lebih optimal.
Nilai Tambah Pruna AI: Kombinasi Metode yang Mudah Digunakan
Menurut Rachwan, perusahaan besar biasanya mengembangkan alat kompresi secara internal, sementara solusi open source yang tersedia seringkali hanya fokus pada satu metode. “Anda tidak akan menemukan alat yang menggabungkan semua metode ini dan membuatnya mudah digunakan. Inilah nilai besar yang dibawa Pruna AI,” jelasnya.
Pruna AI mendukung berbagai jenis model, mulai dari large language models (LLM), diffusion models, speech-to-text, hingga computer vision. Namun, saat ini perusahaan lebih fokus pada model generasi gambar dan video. Beberapa pengguna Pruna AI termasuk Scenario dan PhotoRoom, yang telah merasakan manfaat dari kerangka optimisasi ini.
Fitur Unggulan: Compression Agent yang Cerdas
Salah satu fitur paling menarik yang akan segera dirilis oleh Pruna AI adalah compression agent. Dengan fitur ini, pengembang hanya perlu menentukan parameter seperti kecepatan dan batas toleransi penurunan akurasi. “Anda cukup memberi tahu agen: ‘Saya ingin lebih cepat, tapi jangan turunkan akurasi lebih dari 2%.’ Lalu, agen akan melakukan sisanya,” kata Rachwan.
Pruna AI juga menawarkan versi enterprise dengan fitur optimisasi lanjutan, termasuk compression agent. Layanan ini dibayar per jam, mirip dengan cara Anda menyewa GPU di AWS atau layanan cloud lainnya. Menurut Rachwan, dengan model yang dioptimalkan, perusahaan dapat menghemat biaya inferensi secara signifikan. Sebagai contoh, Pruna AI berhasil membuat model Llama delapan kali lebih kecil tanpa kehilangan kualitas yang berarti.
Dengan pendanaan seed sebesar $6,5 juta dari investor seperti EQT Ventures, Daphni, Motier Ventures, dan Kima Ventures, Pruna AI berharap kerangka optimisasi mereka dapat menjadi investasi yang menguntungkan bagi pelanggan. “Ini adalah alat yang akan membayar sendiri,” tegas Rachwan.
Bagi Anda yang berkecimpung di dunia AI, Pruna AI bisa menjadi game-changer. Dengan kemampuannya menggabungkan berbagai metode efisiensi dan memudahkan proses optimisasi, startup ini siap membantu Anda mencapai performa terbaik tanpa mengorbankan kualitas.
