Telset.id – Kecerdasan buatan kini bisa dijalankan secara offline di komputer pribadi tanpa biaya langganan bulanan. Model bahasa besar atau LLM (Large Language Model) yang biasanya hanya bisa diakses lewat platform seperti ChatGPT ternyata dapat diunduh dan dioperasikan secara lokal, memberikan privasi lebih karena data tidak dikirim ke cloud.
Pengguna platform AI seperti ChatGPT, Claude, atau Perplexity sebenarnya sedang memanfaatkan LLM. Yang kurang diketahui adalah bahwa LLM ini dapat dijalankan di komputer sendiri dengan keuntungan utama akses offline dan privasi yang lebih terjaga. Tidak ada data yang dikirim ke server untuk dianalisis, serta tidak perlu membayar langganan atau khawatir tentang batas pemakaian.
Berbagai LLM tersedia untuk diunduh secara gratis, termasuk dari nama besar seperti Meta dan Google. Meskipun cenderung tidak secanggih atau secepat LLM di aplikasi berbayar, model-model ini cukup mumpuni untuk penggunaan sehari-hari. Pengguna juga bisa memilih dan berganti-ganti model sesuai kebutuhan.
Perlu diketahui bahwa menjalankan LLM lokal membutuhkan lebih banyak perawatan dibanding sekadar membuka aplikasi ChatGPT. Pembaruan sistem harus dilakukan sendiri. Namun, imbalannya adalah sistem AI yang lebih personal dan privat, serta proses memulainya tidaklah sulit.
Spesifikasi yang Dibutuhkan untuk LLM Lokal
LLM lokal dapat dijalankan di Windows, macOS, dan Linux, meskipun macOS cenderung menjadi platform pilihan bagi banyak penggemar AI. Sistem di Mac lebih terpadu dan konsisten karena hanya dibuat oleh satu perusahaan. Chip Apple Silicon yang menggabungkan CPU, GPU, dan RAM juga disukai model AI.
Platform apa pun yang dipilih, kapasitas RAM yang besar sangat membantu. Minimal 8 GB, namun dengan kapasitas tersebut pengguna akan terbatas dalam ukuran LLM yang bisa dijalankan dan kecepatannya. RAM 16 GB lebih baik, sementara 32 GB atau lebih diperlukan untuk model terbesar dan tercepat.
Untuk hasil terbaik, dibutuhkan VRAM yang cukup pada GPU khusus—apa pun di atas 8 GB akan membuat perbedaan. Memori jenis ini dioptimalkan untuk tugas-tugas AI. Pengguna Windows akan sangat terbantu dengan GPU Nvidia khusus karena chip grafis lebih baik untuk menjalankan proses AI dibanding prosesor standar. Kartu grafis ini juga memiliki RAM sendiri yang memberi ruang berpikir ekstra bagi model AI.
Meski tidak ada spesifikasi minimum resmi untuk menjalankan LLM lokal, RAM sebanyak mungkin dan kartu grafis diskrit akan sangat membantu. Setelah itu, pengguna memerlukan perangkat lunak untuk menjalankan model (bertindak sebagai antarmuka luar) beserta modelnya sendiri. Ada banyak pilihan untuk keduanya.
Bagi pemula, LM Studio Bionic umumnya dianggap sebagai aplikasi AI terbaik di Windows dan macOS, dan gratis digunakan. Opsi populer lain yang tepercaya termasuk vLLM, Llama.cpp, Ollama, dan GPT4All yang tersedia untuk berbagai sistem operasi. Perangkat lunak ini sedikit lebih teknis dan rumit.
Setelah memilih aplikasi AI, keputusan berikutnya adalah menentukan LLM. Perangkat lunak yang disebutkan akan memandu pengguna menuju beberapa opsi. Ada juga repositori model online, yang paling terkenal adalah Hugging Face dengan lebih dari 3 juta model tersedia.
Langkah Menyiapkan LM Studio Bionic di Windows
Berbagai macam pengaturan dimungkinkan untuk LLM lokal. Sebagai gambaran, berikut langkah demi langkah menyiapkan LM Studio Bionic di Windows. Setelah mengunduh file instalasi dari situs web dan menjalankan LM Studio Bionic, klik Create Project untuk memulai dan beri nama proyek pertama.
Jendela percakapan kosong akan terbuka. Dengan mengklik Choose a model di kotak prompt, lalu Get local models, pengguna akan dibawa ke pemilih model utama LM Studio Bionic. Setiap model yang tersedia ditampilkan bersama ukuran, popularitas, dan detail singkat—perhatikan staff picks jika ingin rekomendasi untuk memulai.
Model yang lebih kecil mungkin tidak secanggih, tetapi akan diunduh lebih cepat dan memakan lebih sedikit ruang di sistem. Kembali ke antarmuka obrolan, semuanya bekerja mirip dengan aplikasi chatbot AI standar.
Di kotak prompt di bagian bawah, pengguna dapat memilih model AI (jika memasang lebih dari satu LLM). Di sisi kiri kotak prompt terdapat ikon + (plus) untuk mengirim gambar dan file (jika didukung model saat ini). Di sisi kiri antarmuka terdapat panel navigasi untuk berpindah antar proyek.
Melalui tautan Settings (kiri bawah) di panel navigasi, terdapat layar preferensi untuk LM Studio Bionic. Ada banyak cara menyesuaikan perangkat lunak di sini, mulai dari cara penanganan chat yang dihapus hingga elemen antarmuka di layar. Klik Library di Settings untuk mengelola model yang ada atau entri menu Explore untuk menemukan model baru.
Jika membutuhkan dukungan untuk gambar dan dokumen, cari model multimodal. Secara teknis, model ini dibangun di atas kemampuan LLM, meski sering juga disebut LLM. Bagian akhir antarmuka LM Studio yang penting diketahui adalah sidebar kanan, yang dapat ditampilkan atau disembunyikan melalui tombol di pojok kanan atas. Sidebar ini memberikan opsi tambahan untuk mengelola file antar proyek dan memberi akses program ke sistem file komputer jika diperlukan.
Menjalankan LLM secara lokal membuka peluang bagi pengguna yang menginginkan kontrol penuh atas data dan sistem AI mereka. Dengan persiapan perangkat keras yang memadai dan pilihan perangkat lunak yang tepat, siapa pun dapat membangun asisten AI pribadi yang beroperasi sepenuhnya offline. Perlu diingat bahwa kemampuan model lokal mungkin tidak sebanding dengan layanan berbayar, namun untuk kebutuhan harian, ini menjadi alternatif menarik.
Baca Juga:
Fenomena lain yang menarik untuk dicermati adalah bagaimana chatbot AI bisa memperkuat keyakinan tak lazim pengguna. Sementara itu, ada juga kasus ChatTJB, chatbot palsu yang ternyata dijawab manual oleh manusia di San Francisco. Kasus serupa juga diangkat dalam pemberitaan tentang Chatbot AI yang sebenarnya dijawab satu orang secara manual.
Komentar
Belum ada komentar.